高加索AV无码,99尹人网毛,韩日337p99,一级a片久久无,97色区综合,激情日韩在线一二三,日韩精品久久精品草比,婷婷久久91,亚洲天堂艹比

Meta 近日的一篇論文就指出，LLM 通常會在問題中重新推導(dǎo)相同的中間步驟，從而增加 toekns 使用量，導(dǎo)致推理過程效率低。

針對這一問題，研究團(tuán)隊提出了一種“行為壓縮”的新方法，將常見的推理套路打包成可調(diào)用的“命名行為”。模型在需要時只需調(diào)用這些經(jīng)過驗證的行為，而不必從頭展開推導(dǎo)。這樣一來，既能顯著減少輸出標(biāo)記、節(jié)省計算資源，也能提高結(jié)果穩(wěn)定性和準(zhǔn)確性。

研究人員表示，這一機制未來可能讓大模型在多種實際場景中變得更高效。企業(yè)能以更低成本部署智能客服或搜索引擎，科研人員能在數(shù)學(xué)推理或代碼生成中獲得更快的響應(yīng)，而教育應(yīng)用中的 AI 教師也能減少啰嗦解釋，提供更精準(zhǔn)的答案。

隨著“行為條件微調(diào)”技術(shù)的引入，這些壓縮后的行為甚至可以被模型內(nèi)化，在沒有外部檢索的情況下，依舊能夠穩(wěn)定調(diào)用，進(jìn)一步提升模型的推理能力和可靠性。

“三步”推理框架

推理型 LLM 會發(fā)出一條長長的思路鏈（CoT）——推理軌跡。

研究團(tuán)隊將大型語言模型劃分為三個互補的角色：一是“策略師”（LLM A），負(fù)責(zé)從自身推理軌跡中提煉可復(fù)用的行為；二是“教師”（LLM B），用于生成監(jiān)督微調(diào)（SFT）所需的訓(xùn)練數(shù)據(jù)；三是“學(xué)生”（LLM C），其推理過程則在“行為條件推理”或“行為條件 SFT”的支持下得到優(yōu)化。

在具體流程上，策略師扮演著核心角色針對給定問題生成包含完整推理鏈與最終答案的解決方案；隨后，研究者將問題與解決方案再次輸入策略師，以觸發(fā)“反思”環(huán)節(jié)。這一反思過程不僅檢驗推理邏輯與答案正確性，還嘗試歸納是否能夠提煉出新的、可重復(fù)使用的行為模式。最后，策略師會將問題、解決方案與反思轉(zhuǎn)化為一組具有“名稱”和“指令”的行為條目，并不斷擴(kuò)展至行為手冊中。

行為引導(dǎo)推理

條件推理

給定一個問題 Q，該方法首先從行為手冊中檢索相關(guān)行為 B。然后將這些行為、其對應(yīng)的指令以及問題輸入 LLM，從而生成解決方案。

自我完善

模型會根據(jù)特定問題的推理軌跡，將行為反饋到情境中，作為解決相同問題或新問題的教訓(xùn)或提示。

監(jiān)督微調(diào)

通過基于腦機接口生成的數(shù)據(jù)對給定模型進(jìn)行微調(diào)，將行為內(nèi)化，這個過程稱之為行為條件監(jiān)督微調(diào) (BC-SFT)。具體流程如下：

1. 策略師提取每個問題的行為，然后由教師使用 BCI 為每個問題生成行為條件響應(yīng)。

2. 學(xué)生模型根據(jù)結(jié)果（問題、行為條件反應(yīng)）對進(jìn)行微調(diào)。

推理結(jié)果

與原始模型相比，在推理過程中，BCI 方法在使用更少的 token 的情況下實現(xiàn)了相似甚至更高的準(zhǔn)確率。除此之外，性能仍然會隨著 token 預(yù)算的增加而增長，因此所提出的方法不會以不必要的方式影響模型的現(xiàn)有功能。

生成長度的減少有可能大幅降低推理成本，兩個關(guān)鍵因素減輕了開銷。首先，行為的輸入表示可以預(yù)先計算并在不同的查詢中重復(fù)使用，從而將成本攤銷到多個推理上。其次，輸入端不需要自回歸生成，這使得處理 token 的速度更快。

實驗結(jié)果還表明，與原始模型相比，BC-SFT 模型不僅 token 效率更高，而且在將非推理模型（如 Qwen2.514B-Base 和 Qwen2.5-32B-Instruct）轉(zhuǎn)換為推理模型方面更有效。

局限和擴(kuò)展方向

Meta 的這項工作引入了一種機制，讓大語言模型可以利用其元認(rèn)知能力，將自身循環(huán)的推理模式提煉為簡潔的行為。

模型無需重新推導(dǎo)相同的中間結(jié)果，而是只需調(diào)用相關(guān)行為并將其用于新的推理。

然而，這項工作仍然存在一些局限性。在腦機接口 (BCI)領(lǐng)域，行為是根據(jù)問題本身檢索的，列表固定后無法將新的行為添加到上下文中。

該框架是否可以擴(kuò)展到以下方面還有待觀察：

1. 建立一個涵蓋多種行為的庫；

2. 重寫大量語料庫，以更大規(guī)模執(zhí)行 SFT，以改進(jìn)較小的模型，并自我改進(jìn)用于策劃行為和重寫響應(yīng)的模型。

總而言之，將緩慢的思維鏈轉(zhuǎn)化為快速、可重復(fù)使用的行為，使得 LLM 能夠進(jìn)行高效且可擴(kuò)展的推理，這意味著 LLM 不僅能夠?qū)W會解決問題，還能記住如何解決問題。

參考資料：https://arxiv.org/pdf/2509.13237