中文精品有码日韩久久,午夜一级二级久久

Meta“分割一切”的SAM 3D 來(lái)了！

2025-12-01 17:07

來(lái)源： OFweek人工智能網(wǎng)

就在剛剛，Meta MSL 實(shí)驗(yàn)室發(fā)布三維重建模型 SAM 3D。

“分割一切”現(xiàn)在可以直接生成 3D 模型了。

前不久，Meta 發(fā)表 SAM 3 論文，能夠檢測(cè)、分割和跟蹤圖像和視頻中的對(duì)象，還支持簡(jiǎn)短的文本短語(yǔ)和示例提示。

現(xiàn)在，SAM 3 更是帶來(lái) 3D 新范式，將模型引入到三維空間，從單個(gè) 2D 圖像中精確重建 3D 物體和人物。

從靜態(tài)到3D

此次發(fā)布包含兩個(gè)全新模型：

SAM 3D Objects 模型：用于物體和場(chǎng)景重建
SAM 3D Body 模型：用于人體和體型估計(jì)

兩個(gè)模型均能夠?qū)㈧o態(tài) 2D 圖像轉(zhuǎn)換為精細(xì)的 3D 重建模型。

3D Objects

SAM 3D Objects 能夠從單張自然圖像中實(shí)現(xiàn)穩(wěn)定且基于視覺(jué)的 3D 重建和物體姿態(tài)估計(jì)，從而從日常圖像中重建物體的精細(xì) 3D 形狀、紋理和布局。

針對(duì)小物體、間接視角和遮擋現(xiàn)象，模型可以通過(guò)識(shí)別上下文信息輔助重建，彌補(bǔ)像素不足的缺點(diǎn)。

使用 SAM 3D Objects，用戶可以從一張圖像開(kāi)始選擇任意物體，快速生成 3D 模型。這意味著用戶可以在重建的 3D 場(chǎng)景中精確操作單個(gè)物體，從不同視角進(jìn)行觀察。

過(guò)去的 3D 模型受到數(shù)據(jù)可用性的限制，真實(shí)數(shù)據(jù)的數(shù)量級(jí)有限，導(dǎo)致 3D 模型的應(yīng)用范圍僅限于合成或人為設(shè)置的場(chǎng)景。

要應(yīng)用于日常環(huán)境中常見(jiàn)的更具挑戰(zhàn)性的場(chǎng)景，則需要一種新的方法。

SAM 3D Objects 利用強(qiáng)大的數(shù)據(jù)標(biāo)注引擎，將 3D 數(shù)據(jù)和訓(xùn)練方案緊密結(jié)合。

與文本、圖像或視頻不同，從零開(kāi)始創(chuàng)建 3D 真實(shí)數(shù)據(jù)需要高度專(zhuān)業(yè)化的技能，3D 數(shù)據(jù)采集效率低、成本高。

然而，驗(yàn)證或?qū)W(wǎng)格進(jìn)行排序更簡(jiǎn)單�？梢酝ㄟ^(guò)構(gòu)建一個(gè)數(shù)據(jù)引擎來(lái)實(shí)現(xiàn)規(guī)模化。該引擎要求標(biāo)注員對(duì)循環(huán)模型套件生成的多個(gè)選項(xiàng)進(jìn)行評(píng)分，最難的部分可交由 3D 美術(shù)師完成，以填補(bǔ)數(shù)據(jù)盲區(qū)。

這樣，研究人員就能大規(guī)模對(duì)物理世界圖像進(jìn)行標(biāo)注，包括 3D 對(duì)象的形狀、紋理和布局。SAM 3D 一共標(biāo)注了近 100 萬(wàn)張不同的圖像，并生成了約 314 萬(wàn)個(gè)循環(huán)模型網(wǎng)格。

為了使模型能夠處理自然圖像，后續(xù)的后訓(xùn)練階段需要進(jìn)行校準(zhǔn)。數(shù)據(jù)引擎還能提供數(shù)據(jù)來(lái)支持后訓(xùn)練過(guò)程。模型魯棒性和輸出質(zhì)量的提升也使數(shù)據(jù)引擎能夠更好地生成數(shù)據(jù)，從而形成一個(gè)正反饋循環(huán)。

為搭建單張圖像三維重建物理世界物體的自然圖像分布基準(zhǔn)數(shù)據(jù)集，Meta 還構(gòu)建了 SAM 3D 藝術(shù)家物體數(shù)據(jù)集（SA-3DAO）。這是首個(gè)用于評(píng)估基于視覺(jué)的物理世界圖像三維重建的數(shù)據(jù)集，包含更具挑戰(zhàn)性的多樣化圖像和物體。SAM 3D Objects 能夠很好地進(jìn)行泛化，并支持密集場(chǎng)景重建。在與人類(lèi)用戶進(jìn)行的直接對(duì)比測(cè)試中，其成功率至少達(dá)到其他領(lǐng)先模型的 5 倍。通過(guò)擴(kuò)散捷徑和工程優(yōu)化，可以在幾秒鐘內(nèi)生成高質(zhì)量重建結(jié)果。

官方表示，下一步是提高輸出分辨率和改進(jìn)物體布局。

目前，輸出分辨率僅限“適中”水平，限制了復(fù)雜物體的細(xì)節(jié)呈現(xiàn)，可能會(huì)出現(xiàn)失真或丟失細(xì)節(jié)。因此，下一步自然是提高輸出分辨率。

SAM 3D Objects 目前一次只能預(yù)測(cè)一個(gè)物體，并沒(méi)有接受過(guò)物理交互的推理訓(xùn)練。如果能夠預(yù)測(cè)多個(gè)物體并結(jié)合適當(dāng)?shù)膿p失函數(shù)，就可以對(duì)場(chǎng)景中的多個(gè)物體進(jìn)行聯(lián)合推理。

3D Body

SAM 3D Body 即使在涉及不尋常姿態(tài)、圖像部分被遮擋或多人等復(fù)雜情況下，也能精確估計(jì) 3D 人體姿態(tài)和形狀的需求。

該模型利用了一種名為 Meta Momentum Human Rig (MHR) 的新型開(kāi)源 3D 網(wǎng)格格式，通過(guò)分離人體骨骼結(jié)構(gòu)和軟組織形狀提高可解釋性。

基于 Transformer 編碼器-解碼器架構(gòu)，模型可以預(yù)測(cè) MHR 網(wǎng)格參數(shù)——圖像編碼器采用多輸入設(shè)計(jì)來(lái)捕捉人體部位的高分辨率細(xì)節(jié)，而網(wǎng)格解碼器則擴(kuò)展以支持基于提示的預(yù)測(cè)。

SAM 3D Body 利用大規(guī)模、高質(zhì)量數(shù)據(jù)和穩(wěn)健的訓(xùn)練策略，提供精準(zhǔn)且魯棒的 3D 人體姿態(tài)和形狀估計(jì)。

研究人員構(gòu)建了一個(gè)包含數(shù)十億張圖像的大型數(shù)據(jù)集，并使用可擴(kuò)展的自動(dòng)化數(shù)據(jù)引擎挖掘高價(jià)值圖像。他們構(gòu)建了一個(gè)包含約 800 萬(wàn)張圖像的高質(zhì)量訓(xùn)練數(shù)據(jù)集，用于訓(xùn)練模型，使其能夠應(yīng)對(duì)遮擋、罕見(jiàn)姿態(tài)和各種服裝。

下一步，研究團(tuán)隊(duì)表示會(huì)將人、物體和環(huán)境之間的交互納入模型訓(xùn)練。還會(huì)繼續(xù)提升手部姿態(tài)估計(jì)的性能，目前其準(zhǔn)確率仍不及專(zhuān)門(mén)的手部姿態(tài)估計(jì)方法。

參考資料：

https://ai.meta.com/blog/sam-3d/?utm_source=twitter&utm_medium=organic_social&utm_content=video&utm_campaign=sam