高加索AV无码,99尹人网毛,韩日337p99,一级a片久久无,97色区综合,激情日韩在线一二三,日韩精品久久精品草比,婷婷久久91,亚洲天堂艹比

謝賽寧則表示，使用 patch token 并不意味著就是在做稠密任務(wù)。VLM和REPA的性能與它們?cè)贗N1K上的得分高度相關(guān)，而與patch級(jí)別的對(duì)應(yīng)關(guān)系只有很弱的關(guān)聯(lián)。這并不是 [CLS] token 的問(wèn)題，而是高層語(yǔ)義與低層像素相似性之間的差別。

但僅三個(gè)月后，他隨機(jī)表示自己的判斷不夠深入，新論文 iREPA 的研究帶來(lái)了更深度的理解。

謝賽寧在 X 平臺(tái)上表示，擴(kuò)散模型是其底層表征的渲染器。這套新的方案可以幫助大家更清晰地了解這些表征的真正含義

他稱這場(chǎng)討論為“新型網(wǎng)絡(luò)茶水間效應(yīng)的小實(shí)驗(yàn)”，大家一起辯論、討論，然后努力把它變成真正的科學(xué)研究。

空間結(jié)構(gòu)至關(guān)重要

表征對(duì)齊（REPA）通過(guò)將來(lái)自強(qiáng)大的預(yù)訓(xùn)練視覺(jué)編碼器的表征提煉為中間擴(kuò)散特征，來(lái)指導(dǎo)生成式訓(xùn)練。

在這之前，我們需要關(guān)注一個(gè)問(wèn)題：目標(biāo)表征的哪個(gè)方面對(duì)生成至關(guān)重要？是其全局語(yǔ)義信息，還是其空間結(jié)構(gòu)？

普遍觀點(diǎn)認(rèn)為，更強(qiáng)的全局語(yǔ)義性能能夠帶來(lái)更好的生成效果。為了驗(yàn)證這一觀點(diǎn)，團(tuán)隊(duì)首先對(duì) 27 種不同的視覺(jué)編碼器和不同模型規(guī)模進(jìn)行了大規(guī)模的實(shí)證分析。

團(tuán)隊(duì)發(fā)現(xiàn)，雖然 PE-Core-G 在 ImageNet-1K 上的準(zhǔn)確率高達(dá) 82.8%，但當(dāng)用作 REPA 的目標(biāo)表示時(shí)，其性能卻更差。

除此之外，同一編碼器系列中較大的型號(hào)可能具有相似或更差的生成性能。對(duì)于表征對(duì)齊而言，較大的模型變體往往會(huì)導(dǎo)致相似（DINOv2）甚至更差的生成性能。

也就是說(shuō)，更高的全局信息量并不意味著更好的 REPA 性能。多項(xiàng)趨勢(shì)表明，在使用 REPA 時(shí)，全局性能與生成 FID 的相關(guān)性并不高。

比如，僅驗(yàn)證準(zhǔn)確率達(dá)到 24.7% 的 SAM2-S，在使用 REPA 時(shí)，其生成性能優(yōu)于其他驗(yàn)證準(zhǔn)確率高出約 60% 的模型。

同一編碼器家族中，較大的編碼器可能具有更高的驗(yàn)證準(zhǔn)確率，但生成性能卻更差。

通過(guò) CLS 標(biāo)記向 patch 標(biāo)記添加全局信息可以提高全局性能，但會(huì)降低生成性能。

研究證明，空間結(jié)構(gòu)而非全局性能是生成性能的更好指標(biāo)。

研究還表明，空間結(jié)構(gòu)與發(fā)電性能的相關(guān)性遠(yuǎn)高于線性探測(cè)。

在不同的模型尺度上，空間結(jié)構(gòu)與 gFID 的相關(guān)性始終高于線性探測(cè)。

iREPA 改進(jìn)表述一致性

研究人員對(duì)原始的 REPA 訓(xùn)練方案進(jìn)行了兩項(xiàng)直接的修改，從而增強(qiáng)了空間特征從教師（視覺(jué)編碼器）到學(xué)生（擴(kuò)散變換器）模型的遷移。

一個(gè)是使用卷積投影層代替多層感知器（MLP）。團(tuán)隊(duì)用一個(gè)輕量級(jí)的卷積層代替 MLP，該卷積層直接作用于空間網(wǎng)格。

REPA 中的標(biāo)準(zhǔn) MLP 投影層在將目標(biāo)表示的特征遷移到擴(kuò)散特征時(shí)會(huì)丟失空間信息，而使用更簡(jiǎn)單的卷積層則可以更好地遷移空間信息。

第二是運(yùn)用空間歸一化層，向目標(biāo)表示的圖像塊標(biāo)記添加了一個(gè)簡(jiǎn)單的空間歸一化層。通過(guò)犧牲全局信息來(lái)提高圖像塊標(biāo)記之間的空間對(duì)比度，從而獲得更好的生成性能。

結(jié)果顯示，在目標(biāo)表示和模型規(guī)模的變化下，iREPA 始終比基線 REPA 具有更快的收斂速度，且在所有視覺(jué)編碼器上均能持續(xù)提升生成質(zhì)量。

空間改進(jìn)不僅持續(xù)提升性能，而且模型規(guī)模越大，性能提升的百分比也越大；這表明空間改進(jìn)能夠隨著模型規(guī)模的增大而擴(kuò)展。

在消融實(shí)驗(yàn)中，空間歸一化層和卷積投影層均能顯著提高收斂速度，兩者結(jié)合使用效果最佳。

總而言之，團(tuán)隊(duì)在 REPA-E 和 MeanFlow w/ REPA 的基礎(chǔ)上應(yīng)用了空間改進(jìn)，并取得了一致的性能提升。

參考資料：

https://x.com/sainingxie/status/2000709656491286870

https://arxiv.org/abs/2512.10794

https://x.com/YouJiacheng/status/1957073253769380258