美女,露尿口,婷婷亚洲东京热,亚洲精品久久久一区

補(bǔ)完JEPA理論，這可能是LeCun在Meta的最后一篇論文

2025-12-01 16:44

聯(lián)合嵌入預(yù)測(cè)架構(gòu)（JEPA）由于缺乏實(shí)踐指導(dǎo)和理論，研發(fā)工作大多是臨時(shí)性的。

Facebook 首席人工智能科學(xué)家、圖靈獎(jiǎng)得主 LeCun 提出了一套全面的 JEPA 理論——一個(gè)精簡(jiǎn)、可擴(kuò)展且理論基礎(chǔ)扎實(shí)的訓(xùn)練目標(biāo)。

他引入了一種新的目標(biāo)函數(shù)——草圖化各向同性高斯正則化（SIGReg）——來(lái)約束嵌入，使其達(dá)到該理想分布。

將 JEPA 預(yù)測(cè)損失與 SIGReg 相結(jié)合，產(chǎn)生了 LeJEPA，它具有諸多理論和實(shí)踐優(yōu)勢(shì)，例如：

單一權(quán)衡超參數(shù)
線性時(shí)間和內(nèi)存復(fù)雜度
對(duì)各種超參數(shù)、架構(gòu)（ResNet、ViT、ConvNet）和領(lǐng)域均具有穩(wěn)定性
無(wú)需啟發(fā)式方法
易于分布式訓(xùn)練，僅需約 50 行代碼即可實(shí)現(xiàn)

目前的實(shí)證驗(yàn)證涵蓋了 10 多個(gè)數(shù)據(jù)集和 60 多個(gè)架構(gòu)，涵蓋了不同的規(guī)模和領(lǐng)域。

有消息稱(chēng)，這可能是 LeCun 在 Meta 發(fā)表的最后幾篇論文之一。

穩(wěn)定且可擴(kuò)展

團(tuán)隊(duì)在確立各向同性高斯分布作為理想的特征先驗(yàn)后，將基于統(tǒng)計(jì)檢驗(yàn)的正則化方式加入到模型中，形成了 LeJEPA 的整體框架。

該方法利用一種切片式的檢驗(yàn)來(lái)衡量模型嵌入與目標(biāo)分布之間的偏差，并用數(shù)值求積近似替代積分計(jì)算。

實(shí)際實(shí)驗(yàn)表明，即便只使用十幾個(gè)位點(diǎn)，簡(jiǎn)單的求積方法也足以獲得穩(wěn)定估計(jì)；同時(shí)由于被積函數(shù)具有對(duì)稱(chēng)性，可在不增加額外成本的情況下提高估計(jì)精度。

雖然小批量訓(xùn)練會(huì)帶來(lái)一定偏差，但其衰減速度非常快，經(jīng)驗(yàn)上即便是很小的 batch 也不會(huì)造成明顯影響，因此不采用樣本分割或 U-統(tǒng)計(jì)量等無(wú)偏替代方案。

預(yù)測(cè)損失部分沿用了自監(jiān)督多視圖學(xué)習(xí)的約定，通過(guò)生成若干全局視角和局部視角，讓模型在各視圖之間進(jìn)行一致性預(yù)測(cè)；所有視圖共同對(duì)全局視圖特征進(jìn)行估計(jì)，并以全局嵌入的均值作為對(duì)齊目標(biāo)。

實(shí)驗(yàn)結(jié)果

最終的 LeJEPA 損失就是將預(yù)測(cè)項(xiàng)與正則項(xiàng)按照單一權(quán)重進(jìn)行組合，因此整體實(shí)現(xiàn)非常精簡(jiǎn)，不依賴(lài)教師-學(xué)生結(jié)構(gòu)、預(yù)測(cè)器分支或梯度停止等傳統(tǒng)啟發(fā)式，應(yīng)對(duì)坍塌主要依靠正則項(xiàng)本身的數(shù)學(xué)約束。

該方法與生成建模和最優(yōu)傳輸中的部分技術(shù)思路相通，例如切片分布匹配或核式統(tǒng)計(jì)距離。當(dāng)切片檢驗(yàn)的積分被完全解析化時(shí)，其形式與某些 MMD 方法接近。

理論上在特定的檢驗(yàn)選擇下會(huì)出現(xiàn)與其他 SSL 框架相似的極端情形，但研究者指出這些設(shè)定容易產(chǎn)生捷徑式解，因此不推薦使用。

實(shí)驗(yàn)結(jié)果顯示，LeJEPA 在不同架構(gòu)、不同數(shù)據(jù)規(guī)模和常見(jiàn)超參數(shù)下都具有良好穩(wěn)定性；視覺(jué)模型在 ImageNet-100、ImageNet-1K 上均能在多種視圖設(shè)置與損失權(quán)重下保持穩(wěn)定表現(xiàn)，且無(wú)需顯式監(jiān)督即可學(xué)習(xí)豐富的語(yǔ)義分割特征。

在專(zhuān)業(yè)領(lǐng)域（如星系圖像）的數(shù)據(jù)集上，直接使用 LeJEPA 預(yù)訓(xùn)練能優(yōu)于當(dāng)前主流的自監(jiān)督模型，即使在千級(jí)樣本的小數(shù)據(jù)集上也能有效學(xué)習(xí)。

結(jié)果顯示，使用 LeJEPA 進(jìn)行域內(nèi)預(yù)訓(xùn)練，在線性探測(cè)和全量微調(diào)這兩項(xiàng)評(píng)估中均顯著優(yōu)于頂尖的前沿模型。

正則項(xiàng)的積分上下限、求積點(diǎn)數(shù)等參數(shù)對(duì)性能影響極小，而切片數(shù)量只在一定程度上帶來(lái)增益。

更重要的是，在不依賴(lài)預(yù)測(cè)器、寄存器 token 的情況下訓(xùn)練也不會(huì)坍塌，說(shuō)明不穩(wěn)定性主要來(lái)自以往方法的目標(biāo)本身，而非結(jié)構(gòu)組件。

其訓(xùn)練損失與下游準(zhǔn)確率之間具有明顯的單調(diào)關(guān)系，通過(guò)簡(jiǎn)單縮放可使相關(guān)性進(jìn)一步接近線性，從而能夠在無(wú)標(biāo)簽條件下進(jìn)行模型選擇大規(guī)模實(shí)驗(yàn)表明，該方法能在數(shù)億至十幾億參數(shù)的模型上保持穩(wěn)定的訓(xùn)練曲線，無(wú)需繁瑣參數(shù)調(diào)整。

可視化顯示，模型內(nèi)部自然形成了具有語(yǔ)義意義的注意力模式，既能突出物體邊界，也能在視頻序列中形成時(shí)間一致的前景分割，表明其學(xué)到的表征同時(shí)具備空間語(yǔ)義和時(shí)間結(jié)構(gòu)。

整體來(lái)看，LeJEPA 通過(guò)明確的分布正則和簡(jiǎn)潔的多視圖預(yù)測(cè)目標(biāo)，在穩(wěn)定性、跨架構(gòu)適用性、小樣本有效性以及下游可控性方面展現(xiàn)出顯著優(yōu)勢(shì)。

參考資料：

https://arxiv.org/pdf/2511.08544

LeCun