高加索AV无码,99尹人网毛,韩日337p99,一级a片久久无,97色区综合,激情日韩在线一二三,日韩精品久久精品草比,婷婷久久91,亚洲天堂艹比

該公司 CEO Mira Murati 表示，這種方法可以讓小模型具備強大的領(lǐng)域性能和持續(xù)學習能力。

值得注意的是，TML 在博客中明確表示這項新成果受到了 Qwen 團隊研究的啟發(fā)，實驗過程中也大量用到了 Qwen3 系列模型。

博客的作者是 TML 的研究者 Kevin Lu。作為 OpenAI 的前員工，他參與過 GPT-5 series、GPT-oss、o3 & o4-mini、4.1-nano & 4.1-mini、o1-mini、o3-mini 等模型的研發(fā)工作。

三個訓練階段

LLM 能夠在特定領(lǐng)域達到專家級的表現(xiàn)，這得益于多種能力的疊加：輸入感知、知識檢索、方案選擇和可靠執(zhí)行。

這需要一系列的訓練方法，可以將其分為三個階段：

1. 預訓練：教授語言運用、廣泛推理和世界知識等一般能力。

2. 中期培訓：傳授領(lǐng)域知識，例如代碼、醫(yī)療數(shù)據(jù)庫或公司內(nèi)部文件。

3. 訓練后：會引發(fā)有針對性的行為，例如遵循指令、推理數(shù)學問題或聊天。

對“學生”模型進行后期訓練的方法可以分為兩種：

1. 在線策略訓練：從學生模型本身中抽取樣本，并為其分配一些獎勵。

2. 離線策略訓練：依賴于學生學習模仿的某些外部來源的目標輸出。

可以通過強化學習進行策略訓練，對每個學生的部署進行評分，看其是否解決了問題。評分可以由人工完成，也可以由能夠可靠地得出正確答案的“教師”模型完成。

在線策略訓練的優(yōu)勢在于通過使用來自自身的樣本進行訓練，學生模型能夠以更直接的方式學會避免錯誤。

但強化學習有一個很大的缺點，它提供的反饋非常稀疏，無論使用的標記數(shù)量多少，每次訓練都只教授固定數(shù)量的比特。

研究人員使用一種稱為“蒸餾”的機制：訓練學生模型以匹配教師模型的輸出分布�；�于教師軌跡進行訓練，包含中間思考步驟的生成標記的完整序列，可以在每個步驟中使用教師模型的完整下一個標記分布，或者僅對給定序列進行采樣。

提煉

在線策略蒸餾的核心思想是從學生模型中抽取軌跡樣本，并利用高績效教師對每條軌跡的每個標記進行評分。

研究人員將在線蒸餾策略應用于已在訓練前和訓練中積累了一定能力的模型。結(jié)果發(fā)現(xiàn)，這是一種經(jīng)濟高效且高效的后期訓練方法，能夠?qū)⒃诰�策略訓練的優(yōu)勢與密集獎勵信號相結(jié)合。

團隊使用蒸餾技術(shù)在 Qwen3-8B-Base 模型中訓練數(shù)學推理，并使用 Qwen3-32B 作為教師模型。

結(jié)果顯示，性能呈對數(shù)線性增長——初始性能提升成本低廉，但后期成本高昂。

在線蒸餾策略通過最小化反向 KL 來學習近似教師的完整分布，而不是記住單個答案。研究人員能夠從同一問題中訓練多個樣本。

團隊針對此提示訓練了 20 個連續(xù)步驟，每個步驟包含 256 個 rollout，總共 5120 個分級序列。

研究人員以連續(xù)的方式對同一提示進行多個步驟的訓練，盡管只針對單個提示進行訓練，模型仍然大致達到了教師模型的性能。

結(jié)論

結(jié)果顯示：在線策略蒸餾同時具備離線策略蒸餾和在線策略強化學習的優(yōu)勢，在線策略訓練的可靠性能和密集獎勵信號的成本效益。

后訓練是達到前沿模型能力的關(guān)鍵環(huán)節(jié)。通過利用學生模型的在線策略采樣和教師模型的密集監(jiān)督，在線蒸餾策略可以以前沿高計算量強化學習運行成本的一小部分達到這些能力。

作者表示，Thinking Machines 的使命是利用 AI 模型賦能人類，這些模型將前沿性能與適應性和個性化相結(jié)合。在線蒸餾策略是實現(xiàn)這一目標的有力工具。

參考資料：

https://thinkingmachines.ai/blog/on-policy-distillation/