布里斯托profileG要求（布里斯托profile c）
這項(xiàng)由英國(guó)布里斯托大學(xué)工程數(shù)學(xué)與技術(shù)學(xué)院的布里Tim Lawson和Laurence Aitchison兩位研究者共同完成的創(chuàng)新研究，發(fā)表于2025年6月26日的斯托arXiv預(yù)印本平臺(tái)（論文編號(hào)：arXiv:2506.21103v1），有興趣深入了解的求布讀者可以通過(guò)https://github.com/tim-lawson/skip-middle訪問(wèn)完整的研究代碼。
這項(xiàng)研究提出了一種全新的布里Transformer架構(gòu)設(shè)計(jì)思路，讓AI模型學(xué)會(huì)"聰明地偷懶"，斯托動(dòng)態(tài)跳過(guò)那些看似冗余的求布中間層當(dāng)你在使用ChatGPT或其他AI工具時(shí)，可能從未想過(guò)這些強(qiáng)大的布里語(yǔ)言模型背后其實(shí)隱藏著一個(gè)巨大的"浪費(fèi)"問(wèn)題。
就像一個(gè)工廠流水線，斯托每個(gè)產(chǎn)品都必須經(jīng)過(guò)所有工序，求布即使有些工序?qū)δ承┖?jiǎn)單產(chǎn)品來(lái)說(shuō)完全是布里多余的這項(xiàng)研究正是要解決這個(gè)問(wèn)題，讓AI模型變得更加智能和高效研究團(tuán)隊(duì)發(fā)現(xiàn)了一個(gè)有趣的斯托現(xiàn)象：在深度神經(jīng)網(wǎng)絡(luò)中，就像三明治的求布夾心一樣，中間的布里那些層往往包含最多的"冗余信息"。
這就好比在一個(gè)長(zhǎng)途旅行中，斯托中間的求布那些路段往往是最單調(diào)重復(fù)的，而起點(diǎn)和終點(diǎn)的準(zhǔn)備和收尾工作反而最重要基于這個(gè)洞察，研究者們提出了一種革命性的想法：為什么不讓AI模型根據(jù)任務(wù)的復(fù)雜程度，自動(dòng)決定要不要"走捷徑"，跳過(guò)那些不必要的中間步驟呢？。
一、Transformer的"三明治困境"與解決思路要理解這項(xiàng)研究的價(jià)值，我們首先需要了解當(dāng)前AI模型面臨的一個(gè)根本問(wèn)題現(xiàn)在的Transformer模型就像一條嚴(yán)格的工廠流水線，每個(gè)"產(chǎn)品"（無(wú)論是簡(jiǎn)單的還是復(fù)雜的文本處理任務(wù)）都必須經(jīng)過(guò)所有的"工序"（神經(jīng)網(wǎng)絡(luò)層）。
這種設(shè)計(jì)雖然保證了處理能力，但也造成了大量的計(jì)算資源浪費(fèi)研究團(tuán)隊(duì)通過(guò)深入分析發(fā)現(xiàn)，Transformer模型的架構(gòu)有點(diǎn)像制作三明治：最上層（早期層）負(fù)責(zé)把原始的文字"食材"處理成可以理解的"半成品"，最下層（后期層）負(fù)責(zé)把這些"半成品"組裝成最終的"成品"輸出，而中間的那些層就像三明治的夾心部分，往往包含大量重復(fù)和冗余的信息處理過(guò)程。
更具體地說(shuō)，早期的網(wǎng)絡(luò)層主要做的是"翻譯"工作，把人類的文字轉(zhuǎn)換成機(jī)器能理解的數(shù)字表示；而后期的網(wǎng)絡(luò)層則做"組裝"工作，把這些數(shù)字表示重新組織成人類能理解的輸出中間的那些層呢？它們主要在做"潤(rùn)色"和"優(yōu)化"工作，但對(duì)于簡(jiǎn)單的任務(wù)來(lái)說(shuō)，這種潤(rùn)色往往是過(guò)度的。
研究者們意識(shí)到，如果能讓模型學(xué)會(huì)識(shí)別哪些任務(wù)是"簡(jiǎn)單"的，哪些是"復(fù)雜"的，然后對(duì)簡(jiǎn)單任務(wù)采用"快速通道"，直接跳過(guò)那些不必要的中間處理步驟，就能大大提高整體效率這就像在高速公路上，如果你只是要去附近的地方，就沒(méi)必要繞道走那些為長(zhǎng)途旅行設(shè)計(jì)的復(fù)雜路段。
二、創(chuàng)新的"智能跳躍"機(jī)制設(shè)計(jì)研究團(tuán)隊(duì)設(shè)計(jì)的解決方案可以比作一個(gè)智能的交通管制系統(tǒng)在這個(gè)系統(tǒng)中，每個(gè)"車輛"（文本token）都配備了一個(gè)智能導(dǎo)航，能夠根據(jù)目的地的復(fù)雜程度，決定是走常規(guī)路線還是走快速通道。
具體來(lái)說(shuō)，這個(gè)智能跳躍機(jī)制包含三個(gè)核心組件首先是"門控機(jī)制"（Gating Mechanism），這就像每個(gè)路口的紅綠燈系統(tǒng)在模型的前半部分，每一層都有一個(gè)小小的"決策器"，它會(huì)觀察當(dāng)前處理的內(nèi)容，然后給出一個(gè)0到1之間的"信號(hào)強(qiáng)度"。
當(dāng)這個(gè)信號(hào)累積到一定程度時(shí)，系統(tǒng)就會(huì)決定讓這個(gè)token"跳躍"到對(duì)應(yīng)的后半部分，繞過(guò)中間的那些層其次是"門控注意力機(jī)制"（Gated Attention），這個(gè)設(shè)計(jì)相當(dāng)巧妙當(dāng)某個(gè)token決定"跳躍"時(shí)，它不僅自己走快速通道，還會(huì)"通知"其他token："我已經(jīng)不在常規(guī)路線上了，你們?cè)谔幚硇畔r(shí)就不要考慮我了。
"這就像在團(tuán)隊(duì)合作中，如果某個(gè)成員提前完成了任務(wù)，其他成員就不需要再等待他的輸入，可以繼續(xù)推進(jìn)工作第三個(gè)重要組件是"三明治層歸一化"（Sandwich Layer Normalization）這個(gè)技術(shù)解決了一個(gè)技術(shù)細(xì)節(jié)但很重要的問(wèn)題：當(dāng)不同的token走了不同的路線后，它們的"數(shù)據(jù)格式"可能會(huì)有差異，就像不同工廠生產(chǎn)的零件可能需要統(tǒng)一規(guī)格才能組裝。
這個(gè)歸一化機(jī)制確保了無(wú)論token走了哪條路線，最終都能完美地融合在一起三、訓(xùn)練AI學(xué)會(huì)"偷懶"的藝術(shù)讓AI學(xué)會(huì)合理偷懶并不容易，就像訓(xùn)練一個(gè)員工既要保證工作質(zhì)量，又要學(xué)會(huì)在適當(dāng)?shù)臅r(shí)候走捷徑研究團(tuán)隊(duì)面臨的最大挑戰(zhàn)是：如何讓模型在保持性能的同時(shí)，還能盡可能多地跳過(guò)不必要的計(jì)算步驟？。
為了解決這個(gè)問(wèn)題，研究者們?cè)O(shè)計(jì)了一套復(fù)雜的"獎(jiǎng)懲機(jī)制"這個(gè)機(jī)制有點(diǎn)像管理一個(gè)既要追求效率又要保證質(zhì)量的團(tuán)隊(duì)首先，他們?cè)O(shè)定了每一層的"跳躍目標(biāo)"，就像給每個(gè)部門設(shè)定了效率指標(biāo)比如，在模型的最中心位置，他們希望有更多的token能夠跳躍過(guò)去，因?yàn)槟抢锏娜哂嘧疃唷?/p>
然后，他們引入了一個(gè)自適應(yīng)的調(diào)節(jié)系統(tǒng)這個(gè)系統(tǒng)會(huì)持續(xù)監(jiān)控每一層的跳躍率，如果某一層跳躍得太少（太"勤奮"），系統(tǒng)就會(huì)增加跳躍的激勵(lì)；如果跳躍得太多（可能影響質(zhì)量），系統(tǒng)就會(huì)適當(dāng)抑制這就像一個(gè)智能的管理系統(tǒng)，能夠根據(jù)實(shí)際情況動(dòng)態(tài)調(diào)整工作分配。
更有趣的是，研究者們還設(shè)計(jì)了一個(gè)"變異性激勵(lì)"機(jī)制這個(gè)機(jī)制鼓勵(lì)模型對(duì)不同的token做出不同的決策，而不是一刀切地要么全跳要么全不跳這就像鼓勵(lì)員工根據(jù)具體任務(wù)的難易程度來(lái)安排工作強(qiáng)度，而不是對(duì)所有任務(wù)都采用相同的處理方式。
四、實(shí)驗(yàn)結(jié)果：理想與現(xiàn)實(shí)的碰撞研究團(tuán)隊(duì)帶著滿懷的期待測(cè)試了他們的創(chuàng)新設(shè)計(jì)，但實(shí)驗(yàn)結(jié)果卻給了他們一個(gè)重要的教訓(xùn)他們使用了大約100億個(gè)文本token的數(shù)據(jù)集來(lái)訓(xùn)練模型，這相當(dāng)于讓AI讀完了一個(gè)中型圖書館的所有書籍。
實(shí)驗(yàn)設(shè)置就像組織一場(chǎng)公平的競(jìng)賽：他們準(zhǔn)備了多個(gè)不同規(guī)模的傳統(tǒng)Transformer模型作為"對(duì)照組"，從2層到12層不等，然后讓他們的12層"智能跳躍"模型與這些傳統(tǒng)模型進(jìn)行比較評(píng)判標(biāo)準(zhǔn)很簡(jiǎn)單：在使用相同計(jì)算資源的情況下，誰(shuí)能在語(yǔ)言理解任務(wù)上表現(xiàn)得更好。
結(jié)果卻出人意料當(dāng)研究者們沒(méi)有對(duì)跳躍行為進(jìn)行任何約束時(shí)，模型選擇了最"保守"的策略——幾乎不跳躍任何層，基本上還是走傳統(tǒng)的"全流程"路線這就像給員工提供了走捷徑的選擇，但大家都選擇按部就班地完成所有工作，因?yàn)閾?dān)心走捷徑會(huì)影響工作質(zhì)量。
當(dāng)研究者們強(qiáng)制要求模型必須跳躍一定比例的層時(shí)，雖然計(jì)算效率確實(shí)提高了，但模型的性能卻沒(méi)有超過(guò)那些層數(shù)較少的傳統(tǒng)模型換句話說(shuō)，與其訓(xùn)練一個(gè)12層的"跳躍"模型最終只使用8層的計(jì)算量，還不如直接訓(xùn)練一個(gè)8層的傳統(tǒng)模型來(lái)得簡(jiǎn)單有效。
這個(gè)結(jié)果雖然有些令人失望，但研究者們并沒(méi)有因此而否定整個(gè)研究方向他們認(rèn)識(shí)到，在當(dāng)前的實(shí)驗(yàn)規(guī)模下（相對(duì)較小的模型和數(shù)據(jù)集），"智能跳躍"的優(yōu)勢(shì)可能還沒(méi)有顯現(xiàn)出來(lái)就像一個(gè)新的管理方法，可能需要在更大的組織中才能體現(xiàn)出明顯的效果。
五、技術(shù)細(xì)節(jié)：讓AI學(xué)會(huì)"看情況辦事"雖然整體效果沒(méi)有達(dá)到預(yù)期，但研究團(tuán)隊(duì)在技術(shù)實(shí)現(xiàn)上確實(shí)做出了許多巧妙的設(shè)計(jì)他們的"門控機(jī)制"就像給每個(gè)處理單元安裝了一個(gè)智能開關(guān)，這個(gè)開關(guān)能夠根據(jù)當(dāng)前處理的內(nèi)容復(fù)雜程度來(lái)決定是否激活。
具體的工作原理是這樣的：在模型的前半部分（比如12層模型的前6層），每一層都會(huì)對(duì)每個(gè)輸入的文本片段計(jì)算一個(gè)"復(fù)雜度分?jǐn)?shù)"這個(gè)分?jǐn)?shù)就像一個(gè)累積的"疲勞值"，當(dāng)某個(gè)文本片段的累積疲勞值達(dá)到閾值時(shí)，系統(tǒng)就會(huì)判斷"這個(gè)內(nèi)容已經(jīng)處理得差不多了"，然后讓它直接跳躍到對(duì)應(yīng)的后半部分。
門控注意力機(jī)制的設(shè)計(jì)更加精妙在傳統(tǒng)的注意力機(jī)制中，每個(gè)文本片段都需要"關(guān)注"其他所有片段的信息但在這個(gè)新設(shè)計(jì)中，如果某個(gè)片段選擇了跳躍，其他片段在計(jì)算注意力時(shí)就會(huì)自動(dòng)忽略這個(gè)"已經(jīng)離線"的片段這就像在會(huì)議中，如果某個(gè)人提前離開，其他人就不會(huì)再等待他的發(fā)言或意見。
為了確保跳躍后的數(shù)據(jù)能夠無(wú)縫融合，研究者們采用了"三明治"層歸一化方案這種方案在每個(gè)處理模塊的輸入和輸出兩端都進(jìn)行數(shù)據(jù)標(biāo)準(zhǔn)化，確保不同路徑的數(shù)據(jù)在匯合時(shí)具有相似的數(shù)值范圍和分布特征這就像確保從不同工廠生產(chǎn)的零件都符合統(tǒng)一的質(zhì)量標(biāo)準(zhǔn)，才能在最終組裝時(shí)完美配合。
六、失敗中的寶貴洞察雖然這項(xiàng)研究沒(méi)有實(shí)現(xiàn)預(yù)期的性能提升，但它為未來(lái)的研究提供了寶貴的經(jīng)驗(yàn)和洞察研究團(tuán)隊(duì)發(fā)現(xiàn)，讓AI學(xué)會(huì)"偷懶"比想象中要困難得多，這背后涉及到深度學(xué)習(xí)的一些根本性挑戰(zhàn)首先，他們發(fā)現(xiàn)模型的"保守傾向"比預(yù)期強(qiáng)烈。
即使提供了跳躍的機(jī)制，模型在訓(xùn)練過(guò)程中往往傾向于使用所有可用的計(jì)算資源來(lái)最大化性能，而不是尋找效率和性能的平衡點(diǎn)這就像給學(xué)生提供了提前交卷的選擇，但大多數(shù)學(xué)生還是會(huì)用完所有時(shí)間來(lái)檢查和完善答案其次，他們意識(shí)到"中間層冗余"這個(gè)假設(shè)可能只在足夠大的模型規(guī)模下才成立。
在較小的模型中，每一層可能都承擔(dān)著重要的功能，貿(mào)然跳過(guò)可能會(huì)損失關(guān)鍵信息這就像在一個(gè)小團(tuán)隊(duì)中，每個(gè)人都身兼數(shù)職，很難找到可以"偷懶"的環(huán)節(jié)更重要的是，研究者們發(fā)現(xiàn)了訓(xùn)練策略的重要性如何在訓(xùn)練過(guò)程中平衡性能目標(biāo)和效率目標(biāo)，如何設(shè)計(jì)合適的獎(jiǎng)勵(lì)機(jī)制來(lái)鼓勵(lì)模型學(xué)會(huì)適度跳躍，這些都是需要進(jìn)一步探索的問(wèn)題。
他們嘗試了多種不同的控制策略，包括固定目標(biāo)、自適應(yīng)調(diào)整、比例控制等，但都沒(méi)有找到完美的解決方案七、未來(lái)展望：更大規(guī)模的可能性盡管當(dāng)前的實(shí)驗(yàn)結(jié)果不夠理想，但研究團(tuán)隊(duì)對(duì)這個(gè)研究方向的未來(lái)發(fā)展保持樂(lè)觀他們認(rèn)為，"智能跳躍"的真正價(jià)值可能需要在更大規(guī)模的模型和數(shù)據(jù)集上才能顯現(xiàn)。
現(xiàn)代的大型語(yǔ)言模型動(dòng)輒包含數(shù)千億甚至數(shù)萬(wàn)億個(gè)參數(shù)，在這樣的規(guī)模下，中間層的冗余問(wèn)題可能會(huì)更加突出就像在一個(gè)龐大的官僚機(jī)構(gòu)中，中間層級(jí)往往是效率瓶頸的主要來(lái)源在這種情況下，"智能跳躍"機(jī)制可能會(huì)展現(xiàn)出顯著的價(jià)值。
此外，研究者們還看到了這個(gè)技術(shù)與其他效率優(yōu)化技術(shù)結(jié)合的潛力比如，可以將"智能跳躍"與專家混合（Mixture of Experts）、早期退出（Early Exit）等技術(shù)相結(jié)合，形成一個(gè)多層次的效率優(yōu)化體系。
這就像在交通系統(tǒng)中，除了快速通道，還可以有公交專用道、拼車車道等多種效率優(yōu)化措施研究團(tuán)隊(duì)還提到，這個(gè)技術(shù)可能在特定的應(yīng)用場(chǎng)景下表現(xiàn)更好比如，在處理對(duì)話系統(tǒng)的簡(jiǎn)單問(wèn)答時(shí)，很多回復(fù)確實(shí)不需要?jiǎng)佑媚Ｐ偷娜坑?jì)算能力。
在這種情況下，"智能跳躍"可能會(huì)帶來(lái)實(shí)質(zhì)性的效率提升，同時(shí)保持回復(fù)質(zhì)量從更廣闊的視角來(lái)看，這項(xiàng)研究代表了AI效率優(yōu)化的一個(gè)重要探索方向隨著AI模型規(guī)模的不斷增長(zhǎng)，如何在保持性能的同時(shí)提高效率，已經(jīng)成為整個(gè)行業(yè)面臨的重要挑戰(zhàn)。
這項(xiàng)研究雖然沒(méi)有提供最終答案，但為這個(gè)方向的探索奠定了重要基礎(chǔ)說(shuō)到底，這項(xiàng)研究雖然沒(méi)有達(dá)到預(yù)期目標(biāo)，但它體現(xiàn)了科學(xué)研究的真實(shí)面貌：并非每次嘗試都能成功，但每次嘗試都能帶來(lái)新的理解和洞察研究團(tuán)隊(duì)誠(chéng)實(shí)地報(bào)告了他們的發(fā)現(xiàn)，包括那些沒(méi)有達(dá)到預(yù)期的結(jié)果，這本身就是對(duì)科學(xué)誠(chéng)信的體現(xiàn)。
他們的工作為后續(xù)研究者提供了寶貴的經(jīng)驗(yàn)教訓(xùn)，避免了重復(fù)同樣的彎路對(duì)于普通讀者來(lái)說(shuō)，這項(xiàng)研究揭示了AI技術(shù)發(fā)展的復(fù)雜性和挑戰(zhàn)性看似簡(jiǎn)單的"讓AI偷懶"想法，在實(shí)際實(shí)現(xiàn)時(shí)卻面臨著諸多技術(shù)難題這提醒我們，AI技術(shù)的進(jìn)步往往需要大量的試錯(cuò)和積累，而不是一蹴而就的突破。
同時(shí)，這項(xiàng)研究也展示了研究者們?cè)谧非驛I效率優(yōu)化方面的不懈努力，這種探索精神對(duì)于推動(dòng)整個(gè)領(lǐng)域的發(fā)展具有重要意義對(duì)于那些對(duì)技術(shù)細(xì)節(jié)感興趣的讀者，完整的研究代碼已經(jīng)在GitHub上開源（https://github.com/tim-lawson/skip-middle），這為其他研究者繼續(xù)探索這個(gè)方向提供了寶貴的基礎(chǔ)。
或許在不久的將來(lái)，隨著模型規(guī)模的進(jìn)一步擴(kuò)大和訓(xùn)練技術(shù)的改進(jìn)，我們將看到"智能跳躍"技術(shù)的真正價(jià)值得以體現(xiàn)Q&AQ1：這個(gè)"智能跳躍"技術(shù)的核心原理是什么？ A：簡(jiǎn)單來(lái)說(shuō)，就是讓AI模型學(xué)會(huì)根據(jù)任務(wù)復(fù)雜程度動(dòng)態(tài)選擇處理路徑。
對(duì)于簡(jiǎn)單任務(wù)，模型可以跳過(guò)中間那些冗余的處理層，直接從前期處理跳到后期輸出，就像走高速公路的快速通道一樣這個(gè)機(jī)制通過(guò)門控系統(tǒng)來(lái)控制，當(dāng)累積的復(fù)雜度分?jǐn)?shù)達(dá)到閾值時(shí)，就會(huì)觸發(fā)跳躍Q2：為什么這項(xiàng)研究最終沒(méi)有達(dá)到預(yù)期效果？
A：主要有幾個(gè)原因：首先，模型訓(xùn)練時(shí)傾向于使用所有可用資源來(lái)最大化性能，不愿意"偷懶"；其次，在較小規(guī)模的模型中，中間層的冗余可能沒(méi)有想象中那么嚴(yán)重；最后，如何平衡效率和性能的訓(xùn)練策略還需要進(jìn)一步優(yōu)化。
研究者認(rèn)為這個(gè)技術(shù)的真正價(jià)值可能需要在更大規(guī)模的模型上才能顯現(xiàn)Q3：這項(xiàng)研究對(duì)AI發(fā)展有什么意義？ A：雖然沒(méi)有達(dá)到預(yù)期目標(biāo)，但這項(xiàng)研究為AI效率優(yōu)化探索了一個(gè)新方向，提供了寶貴的技術(shù)經(jīng)驗(yàn)和失敗教訓(xùn)隨著AI模型規(guī)模不斷增長(zhǎng)，如何提高計(jì)算效率成為重要挑戰(zhàn)。
這項(xiàng)研究的開源代碼和技術(shù)思路為后續(xù)研究奠定了基礎(chǔ)，可能會(huì)在更大規(guī)?；蛱囟☉?yīng)用場(chǎng)景下發(fā)揮價(jià)值