高加索AV无码,99尹人网毛,韩日337p99,一级a片久久无,97色区综合,激情日韩在线一二三,日韩精品久久精品草比,婷婷久久91,亚洲天堂艹比

這次推出的 SAM 3 是一個(gè)統(tǒng)一模型，它基于概念提示來(lái)檢測(cè)、分割和跟蹤圖像和視頻中的對(duì)象。

可提示概念分割 (PCS) 可為所有匹配的對(duì)象實(shí)例返回分割掩碼和唯一標(biāo)識(shí)。為了改進(jìn) PCS，團(tuán)隊(duì)構(gòu)建了一個(gè)可擴(kuò)展的數(shù)據(jù)引擎，該引擎能夠生成一個(gè)包含 400 萬(wàn)個(gè)唯一概念標(biāo)簽的高質(zhì)量數(shù)據(jù)集，涵蓋圖像和視頻。

SAM 3 在圖像和視頻 PCS 方面比現(xiàn)有系統(tǒng)提升了 2 倍，并在交互式視覺(jué)分割任務(wù)中提升了先前 SAM 的性能。

目前，SAM 3 以及全新的“帶概念的任意分割 (SA-Co)”基準(zhǔn)測(cè)試已在各大平臺(tái)上開源。

可提示分割

SAM 3 是 SAM 2 的推廣，支持新增的 PCS 任務(wù)以及 PVS 任務(wù)。它使用概念提示（簡(jiǎn)單名詞短語(yǔ)、圖像樣本）或視覺(jué)提示（點(diǎn)、框、蒙版）來(lái)定義需要（單獨(dú)）進(jìn)行時(shí)空分割的對(duì)象。

SAM 3 的架構(gòu)是由一個(gè)雙編碼器-解碼器轉(zhuǎn)換器組成，該轉(zhuǎn)換器與跟蹤器和視頻存儲(chǔ)器結(jié)合使用。檢測(cè)器和跟蹤器從對(duì)齊的感知編碼器 (PE) 主干網(wǎng)絡(luò)獲取視覺(jué)語(yǔ)言輸入。

團(tuán)隊(duì)構(gòu)建一個(gè)高效的數(shù)據(jù)引擎，該引擎通過(guò) SAM 3、人工注釋者和 AI 注釋者的反饋循環(huán)迭代生成帶注釋的數(shù)據(jù)，并主動(dòng)挖掘當(dāng)前 SAM 3 版本無(wú)法生成高質(zhì)量訓(xùn)練數(shù)據(jù)的媒體短語(yǔ)對(duì)，以便進(jìn)一步改進(jìn)模型。該引擎使吞吐量提高了一倍以上。

訓(xùn)練分為四個(gè)階段：

第一階段： 人工驗(yàn)證。首先，通過(guò)隨機(jī)采樣圖像進(jìn)行數(shù)據(jù)挖掘，并使用簡(jiǎn)單的字幕器和解析器進(jìn)行名詞短語(yǔ)提議。

第二階段：人機(jī)協(xié)同驗(yàn)證。利用第一階段收集的 MV 和 EV 任務(wù)中人為接受/拒絕的標(biāo)簽，對(duì) Llama 3.2 進(jìn)行微調(diào)，從而創(chuàng)建 AI 驗(yàn)證器來(lái)自動(dòng)執(zhí)行 MV 和 EV 任務(wù)。

第三階段：規(guī)�；�和領(lǐng)域擴(kuò)展。使用 AI 模型挖掘日益復(fù)雜的案例，并將 SA-Co/HQ 的領(lǐng)域覆蓋范圍擴(kuò)展至 15 個(gè)數(shù)據(jù)集。

第四階段：視頻標(biāo)注。此階段將數(shù)據(jù)引擎擴(kuò)展到視頻領(lǐng)域。

實(shí)驗(yàn)結(jié)果

團(tuán)隊(duì)對(duì) SAM 3 進(jìn)行了圖像/視頻分割、小樣本自適應(yīng)檢測(cè)和計(jì)數(shù)基準(zhǔn)測(cè)試，以及使用 SAM 3 + MLLM 進(jìn)行復(fù)雜語(yǔ)言查詢分割的評(píng)估。

結(jié)果顯示，零樣本 SAM 3 在封閉詞匯 COCO、COCO-O 和 LVIS 邊界框上均具有競(jìng)爭(zhēng)力，并且在 LVIS 掩碼上表現(xiàn)更佳。

在開放詞匯 SA-Co/Gold 上，SAM 3 的 CGFscore 是最強(qiáng)基準(zhǔn) OWLv2 的兩倍，并且達(dá)到了人類表現(xiàn)預(yù)估下限的 88%。

在 ADE-847、PascalConcept-59 和 Cityscapes 數(shù)據(jù)集上的開放詞匯語(yǔ)義分割結(jié)果表明，SAM 3 的表現(xiàn)優(yōu)于強(qiáng)大的專業(yè)基準(zhǔn) APE。

與 MLLM 相比，SAM 3 不僅實(shí)現(xiàn)了良好的物體計(jì)數(shù)準(zhǔn)確率，而且還提供了大多數(shù) MLLM 無(wú)法提供的對(duì)象分割功能。

在文本提示的視頻 PCS 的基準(zhǔn)測(cè)試中，SAM 3 表現(xiàn)出色，尤其是在包含大量名詞短語(yǔ)的基準(zhǔn)測(cè)試集上。

SAM 3 在大多數(shù)基準(zhǔn)測(cè)試中都比 SAM 2 取得了顯著的改進(jìn)，尤其是在具有挑戰(zhàn)性的 MOSEv2 數(shù)據(jù)集上，SAM 3 的表現(xiàn)比先前的研究高出 6 個(gè)點(diǎn)。對(duì)于交互式圖像分割任務(wù)，SAM 3 在平均 mIoU 方面優(yōu)于 SAM 2。

論文的主要貢獻(xiàn)包括：

1. 引入了 PCS 任務(wù)和 SA-Co 基準(zhǔn)。

2. 提出了一種解耦的識(shí)別-定位架構(gòu)，在保留 PVS 功能的同時(shí)擴(kuò)展了 SAM 2 的 PCS 功能。

3. 開發(fā)了一個(gè)高質(zhì)量、高效的人工和 AI 注釋器循環(huán)數(shù)據(jù)引擎。

研究人員表示，SAM 3 和 SA-Co 基準(zhǔn)將成為重要的里程碑，為計(jì)算機(jī)視覺(jué)領(lǐng)域未來(lái)的研究和應(yīng)用鋪平道路。

參考資料：

https://openreview.net/pdf?id=r35clVtGzw