亚洲欧美日韩在线专区,色骚熟母一区

DeepSeek 最新實驗?zāi)Ｐ?V3.2-Exp：首次引入稀疏注意力機制，推理更高效

2025-11-17 15:33

DeepSeek 開源了最新的實驗?zāi)Ｐ汀猇3.2-Exp。

V3.2-Exp 在 V3.1-Terminus 的基礎(chǔ)上引入了 DeepSeek 稀疏注意力機制——可以優(yōu)化長上下文場景下訓(xùn)練和推理的效率。

團(tuán)隊對 Transformer 進(jìn)行持續(xù)研究，特別注重提高處理擴展文本序列時的計算效率。

為了提高效率，DeepSeek 首次引入了稀疏注意力 (DSA)，實現(xiàn)了細(xì)粒度稀疏注意力，在保持模型輸出質(zhì)量的同時提高了長上下文訓(xùn)練和推理效率。

為了評估 DSA 的影響，團(tuán)隊特意將 DeepSeek-V3.2-Exp 的訓(xùn)練配置與 V3.1-Terminus 進(jìn)行了對齊。結(jié)果顯示，DeepSeek-V3.2-Exp 的表現(xiàn)與 V3.1-Terminus 相當(dāng)。

DeepSeek 還披露了 V3.2-Exp 的技術(shù)報告，一起來看更多細(xì)節(jié)。

預(yù)訓(xùn)練和后訓(xùn)練

密集訓(xùn)練階段

在此階段，模型保持密集注意力機制，并凍結(jié)除 lightning 索引器之外的所有模型參數(shù)。

總共訓(xùn)練索引器 1000 步，每一步由 16 個 128K 個標(biāo)記的序列組成，總共產(chǎn)生 21 億個token。

稀疏訓(xùn)練階段

索引器預(yù)熱后，引入細(xì)粒度的 token 選擇機制，并優(yōu)化所有模型參數(shù)，使模型適應(yīng) DSA 的稀疏模式。

值得注意的一點是，團(tuán)隊將索引器的輸入從計算圖中分離出來，以便進(jìn)行單獨優(yōu)化。

專家訓(xùn)練

后訓(xùn)練也采用了與稀疏持續(xù)預(yù)訓(xùn)練階段相同的稀疏注意力機制。為了更嚴(yán)格地評估引入 DSA 的影響，DeepSeek-V3.2-Exp 保留了與 DeepSeek-V3.1-Terminus 相同的后訓(xùn)練流程、算法和數(shù)據(jù)。

每項任務(wù)首先會開發(fā)一個專門針對該特定領(lǐng)域的專用模型，所有專家模型均基于相同的預(yù)訓(xùn)練 DeepSeek-V3.2 基礎(chǔ)檢查點進(jìn)行微調(diào)。

除了寫作任務(wù)和常規(guī)問答之外，還涵蓋了五個專業(yè)領(lǐng)域：數(shù)學(xué)、競技編程、通用邏輯推理、代理編碼和代理搜索。

每個專用模型都經(jīng)過大規(guī)模強化學(xué)習(xí) (RL) 計算訓(xùn)練，并采用不同的模型為長鏈思維推理和直接響應(yīng)生成訓(xùn)練數(shù)據(jù)。實驗結(jié)果表明，基于提煉數(shù)據(jù)訓(xùn)練的模型的性能僅略低于特定領(lǐng)域的專家模型，并且性能差距可以通過后續(xù)的強化學(xué)習(xí)訓(xùn)練有效消除。

混合強化學(xué)習(xí)訓(xùn)練

DeepSeek-V3.2-Exp 仍然采用 GRPO 作為強化學(xué)習(xí)訓(xùn)練算法。與之前使用多階段強化學(xué)習(xí)訓(xùn)練的 DeepSeek 模型不同，V3.2-Exp 將推理、代理和人類對齊訓(xùn)練合并到一個強化學(xué)習(xí)階段。這種方法有效地平衡了不同領(lǐng)域的性能，同時避免了多階段訓(xùn)練范式中常見的災(zāi)難性遺忘問題。

獎勵模式也分為兩種：代理任務(wù)采用基于規(guī)則的結(jié)果獎勵、長度懲罰和語言一致性獎勵；一般任務(wù)采用生成式獎勵模型，其中每個提示都有各自的評估標(biāo)準(zhǔn)。獎勵設(shè)計平衡了兩個因素：