亚洲伊人久久久加勒比,午夜dⅴd,av网站大全在线观看

字節(jié)跳動推出Mini-o3：視覺推理比肩OpenAI o3

2025-11-17 15:58

近日，由字節(jié)跳動、香港大學(xué)團(tuán)隊(duì)聯(lián)合開發(fā)的Mini-o3模型正式上線。這個號稱Open AI o3 視覺推理平替的視覺語言模型（VLM），在訓(xùn)練限制輪數(shù)僅6輪的情況下，能在測試階段將思考輪數(shù)擴(kuò)展到數(shù)十輪。

Mini-o3的核心創(chuàng)新為Visual Probe挑戰(zhàn)性問題數(shù)據(jù)集構(gòu)建、迭代數(shù)據(jù)收集管道以及超輪次掩碼策略，支持深度優(yōu)先搜索等多樣化推理模式。測試時，交互輪次可擴(kuò)展至 32 輪以上，準(zhǔn)確率也會隨著輪次增加顯著提升。

目前，Mini-o3在 VisualProbe、VBench、HR-Bench、MME-Realworld 等基準(zhǔn)上取得了 7B 量級的最佳成績。訓(xùn)練代碼、模型權(quán)重以及包含 4,500 條數(shù)據(jù)的 Visual Probe 數(shù)據(jù)集也已開源。

訓(xùn)練數(shù)據(jù)收集

Mini-o3通過提出一種有效的多模態(tài)智能體訓(xùn)練方案來推進(jìn)交互深度和推理模式。該智能體支持多輪圖像工具使用，從而提高了視覺基礎(chǔ)任務(wù)的適應(yīng)性和推理多樣性。

訓(xùn)練過程包括兩個階段：

監(jiān)督微調(diào)（SFT）：在數(shù)千個涉及圖像工具使用的多輪軌跡（即冷啟動數(shù)據(jù)）上對模型進(jìn)行微調(diào)，使模型生成具有多樣化和魯棒推理模式的有效軌跡。
具有可驗(yàn)證獎勵的強(qiáng)化學(xué)習(xí)（RLVR）：使用可驗(yàn)證的、語義感知的獎勵，采用外部 LLM 作為評判者來計(jì)算獎勵信號�？偣苍O(shè)置 6 個交互輪次和 32K 上下文長度的上限。

團(tuán)隊(duì)構(gòu)建了一個具有挑戰(zhàn)性的視覺搜索數(shù)據(jù)集——Visual Probe 數(shù)據(jù)集。它包含用于訓(xùn)練的 4,000個視覺問答集和用于測試的 500個問答集。 VisualProbe 的特點(diǎn)是：

小目標(biāo)；
大量干擾物；
高分辨率圖像

為了生成高質(zhì)量、多樣化的多輪軌跡，Mini-o3只保留最終答案正確的軌跡。遵循此過程，團(tuán)隊(duì)從 6 個示例中收集了大約 6,000 條冷啟動軌跡。

超輪次掩碼策略

為了增加每個環(huán)節(jié)中可行的輪次數(shù)，團(tuán)隊(duì)將每張圖像的最大像素數(shù)減少至 200 萬。這種簡單的調(diào)整允許在相同的上下文預(yù)算內(nèi)容納更多輪次，提高了長視野問題的解決率。

為了防止模型陷入“提前回答”策略，團(tuán)隊(duì)還提出了一種超輪次掩碼技術(shù)，其目標(biāo)是避免對“未完成”的回答進(jìn)行懲罰。

這項(xiàng)技術(shù)削減了之前“屏蔽”未完成回答的損失，鼓勵模型繼續(xù)探索。

值得注意的是，盡管在訓(xùn)練期間采用了相對較小的翻轉(zhuǎn)輪次上限，但測試時間軌跡可以延伸至數(shù)十輪，準(zhǔn)確率也會隨著輪次增加而提升。因此，輪次掩碼對于實(shí)現(xiàn)測試時間在交互翻轉(zhuǎn)次數(shù)方面的擴(kuò)展優(yōu)勢至關(guān)重要。

實(shí)踐結(jié)果

本研究核心發(fā)現(xiàn)，盡管Mini-o3（藍(lán)線）訓(xùn)練時僅設(shè)定6輪上限，但在測試中，隨著交互輪次上限從4增至32輪，其在VisualProbe-Hard數(shù)據(jù)集上的準(zhǔn)確率從38%持續(xù)升至48%。這表明模型真正學(xué)會了“思考”，且思考越充分，效果越好。相比之下，未采用Over-turn Masking策略的模型（紅線）在6輪后性能便停止增長。

在多項(xiàng)視覺搜索基準(zhǔn)測試中，Mini-o3均刷新了最新的SOTA成績，顯著超越現(xiàn)有開源模型。尤其是在最具挑戰(zhàn)性的 VisualProbe-Hard 任務(wù)上，Mini-o3的準(zhǔn)確率高達(dá) 48.0%，相比此前表現(xiàn)最佳的 DeepEyes（35.1%）提升明顯。

消融實(shí)驗(yàn)結(jié)果進(jìn)一步印證了Mini-o3的創(chuàng)新設(shè)計(jì)：無論移除 Visual Probe 數(shù)據(jù)集、冷啟動 SFT，還是 Over-turn Masking，模型性能都會大幅下降。

結(jié)語

Mini-o3研究團(tuán)隊(duì)作者一共6人，其中賴昕和Junyi Li是項(xiàng)目的共同一作。

公開資料顯示，賴昕是字節(jié)跳動的研究員，主攻大型多模態(tài)模型。他本科就讀于哈爾濱工業(yè)大學(xué)，后獲得香港中文大學(xué)博士學(xué)位。博士期間，他作為第一作者參與的Step-DPO項(xiàng)目在MATH和GSM8K分別獲得了70.8%和94.0%的準(zhǔn)確率。

Junyi Li曾就讀于華中科技大學(xué)，目前是香港大學(xué)的博士，參與字節(jié)研究工作。2024年，他作為第一作者的PartGLEE項(xiàng)目被ECCV接收。

在Mini-o3的工作中，團(tuán)隊(duì)研究了視覺語言模型（VLMs）的多輪基于圖像的工具使用。他們開發(fā)了一個三管齊下的方法：