新智元報道
編輯：桃子
【新智元導(dǎo)讀】視覺AI終極突破來了！英偉達等機構(gòu)推出超強多模態(tài)模型DAM，僅3B參數(shù)，就能精準(zhǔn)描述圖像和視頻中的任何細(xì)節(jié)。
有了AI，誰還愿意用手配「字幕」？
剛剛，英偉達聯(lián)手UC伯克利、UCSF團隊祭出首個神級多模態(tài)模型——Describe Anything Model（DAM），僅3B參數(shù)。
論文地址：https://arxiv.org/pdf/2504.16072
正如其名Describe Anything，上傳一張圖，圈哪點哪，它即可生成一段豐富的文字描述。
即便是一段視頻，DAM也能精準(zhǔn)捕捉到白色SUV，給出詳細(xì)的描述。
DAM是一個專為詳細(xì)局部標(biāo)注（DLC）而設(shè)計的模型，即為特定區(qū)域生成詳細(xì)且精確的描述。
通過兩大創(chuàng)新，研究人員在細(xì)節(jié)與上下文之間找到平衡：
· 焦點提示：對目標(biāo)區(qū)域進行高分辨率編碼，就像給模型配備了一副「放大鏡」，清晰捕捉到局部區(qū)域細(xì)微特征
· 局部視覺骨干網(wǎng)絡(luò)：將精確定位的特定區(qū)域，與上下文無縫整合
換句話說，DAM不僅能放大細(xì)節(jié)看，還能放眼全局看，無論是靜態(tài)圖，還是動態(tài)視頻，都能做到游刃有余。
網(wǎng)友驚嘆道，「終極視覺AI突破」！
AI用「放大鏡」看世界
在項目主頁中，英偉達等研究團隊放出了更多精彩demo。任何人通過點、框、涂鴉或掩碼的交互，即可一鍵生成描述。
上傳一張柯基在草地上歡快奔跑的圖，選中柯基，讓DAM去描述：
一只中等體型的狗，擁有濃密的紅棕色毛發(fā)，腹部和腿部為白色。這只狗尾巴蓬松，耳朵尖立，戴著帶有銀色吊牌的紅色項圈。它張著嘴露出牙齒，舌頭伸在外面。狗呈奔跑姿勢，前腿向前伸展，后腿向后伸直。
一只被擠到犄角旮旯的貓星人，DAM是這樣配文的，「一只白貓，耳朵呈淺橙色，鼻子是粉色的。貓咪表情放松，眼睛微微閉著，全身覆蓋著柔軟的白毛」。
再比如，隨手涂鴉一棟高樓，DAM可以不斷放大細(xì)節(jié)，給出這幢樓更細(xì)致的描述：
一座現(xiàn)代風(fēng)格的摩天大樓，采用流線型矩形設(shè)計，外立面排列著間距均勻的豎向條形窗。建筑呈階梯式結(jié)構(gòu)，每一層段都比下層略微內(nèi)縮，形成錯落有致的退臺造型。建筑幕墻主要由反光玻璃面板構(gòu)成，整體呈現(xiàn)出極具現(xiàn)代感的拋光效果。
甚至，DAM看著視頻中的一頭牛，就能直出一篇經(jīng)典「小作文」：
一幅描繪棕褐色奶牛的動態(tài)序列圖：這頭毛色濃密的奶牛臀部帶有淺色斑塊，初始畫面中它微微低頭，透著安詳?shù)纳駪B(tài)。隨著動作展開，奶牛開始穩(wěn)步前行，四肢舒展著節(jié)奏分明的步態(tài)，尾梢的簇毛隨每一步輕擺，為行進增添流暢韻律。它始終保持挺拔的站姿，略微弓起的背部線條透出放松狀態(tài)，肌肉結(jié)實的腿部穩(wěn)健地向前邁進。整個運動過程中，奶牛保持著均勻從容的步調(diào)，每一個動作都流暢而不迫，展現(xiàn)出寧靜自若的生命姿態(tài)。
DAM如此厲害，是如何做到的？
DAM技術(shù)架構(gòu)，精準(zhǔn)捕捉細(xì)節(jié)
與傳統(tǒng)圖像描述（概括整個場景）不同，DLC聚焦于用戶指定的局部區(qū)域，來生成細(xì)致入微的描述。
想象一張照片中一只貓，你不僅需要描述「一只貓在窗臺上」，還要深入些幾「貓的毛發(fā)呈現(xiàn)柔軟和灰色條紋，耳朵微微傾斜，眼睛在陽光下閃著琥珀色的光芒」。
可以看出，DLC的目標(biāo)是捕捉區(qū)域的紋理、顏色、形狀、顯著部件等特征，同時也要保持與整體場景關(guān)聯(lián)。
而在視頻領(lǐng)域中，DLC挑戰(zhàn)更大。
模型需要追目標(biāo)區(qū)域在多個幀中的變化，描述其外觀、交互、和細(xì)微動態(tài)的演變。
為了應(yīng)對DLC復(fù)雜需求，Describe Anything Model引入了兩大核心創(chuàng)新，讓局部細(xì)節(jié)與全局上下文完美平衡。
焦點提示（Focal Prompt）
通過「焦點提示」機制，DAM能夠同時處理全圖和目標(biāo)區(qū)域的放大視圖。
這確保它在捕捉細(xì)微特征同時，不丟失整體場景的背景信息。
局部視覺骨干網(wǎng)絡(luò)（Localized Vision Backbone）
DAM的視覺骨干網(wǎng)絡(luò)通過空間對齊的圖像和掩碼，融合全局與局部特征。
利用門控交叉注意力層，模型將詳細(xì)的局部線索與全局上下文無縫整合。
新參數(shù)初始化為0，保留了預(yù)訓(xùn)練能力，從而生成更豐富、更具上下文關(guān)聯(lián)的描述。
這種架構(gòu)讓DAM在生成關(guān)鍵詞、短語，甚至是多句式的復(fù)雜描述時，都能保持高精度和連貫性。
DLC-SDP：破解數(shù)據(jù)瓶頸
要知道，高質(zhì)量的DLC數(shù)據(jù)集極為稀缺，限制了模型的訓(xùn)練。為此，研究團隊設(shè)計了基于半監(jiān)督學(xué)習(xí)的流水線（DLC-SDP），通過兩階段策略構(gòu)建大規(guī)模訓(xùn)練數(shù)據(jù)。
階段一，是從分割數(shù)據(jù)集擴展。利用現(xiàn)有分割數(shù)據(jù)集短標(biāo)簽（貓），通過視覺-語言模型生成豐富的描述（灰色短毛貓，耳朵直立。
階段二，自訓(xùn)練未標(biāo)記的圖像，通過半監(jiān)督學(xué)習(xí)，DAM對未標(biāo)記的網(wǎng)絡(luò)圖像生成初始描述，并迭代精煉，形成高質(zhì)量的DLC數(shù)據(jù)。
DLC-Bench：重定義評估標(biāo)準(zhǔn)
那么，如何公平地評估DLC模型。
傳統(tǒng)方法主要依賴文本重疊，但這無法全面反映描述的準(zhǔn)確性和細(xì)節(jié)。
為此，研究團隊提出了全新基準(zhǔn)DLC-Bench。通過LLM判斷，檢查描述的正確細(xì)節(jié)和錯誤缺失，而非簡單對比文本。
DAM僅能生成詳細(xì)描述，還具備強大的靈活性和交互性。
指令控制描述
你可以根據(jù)需求調(diào)整描述的詳細(xì)程度和風(fēng)格。
零樣本區(qū)域問答
而且，無需額外訓(xùn)練，DAM就能回答關(guān)于特定區(qū)域的問題。
碾壓GPT-4o，刷新SOTA
在DLC-Bench和其他7個涵蓋圖像與視頻的基準(zhǔn)測試中，DAM全面超越現(xiàn)有模型，樹立了新的標(biāo)桿。
如下表2所示，DAM在具有挑戰(zhàn)性的 PACO 基準(zhǔn)測試中表現(xiàn)出色，創(chuàng)下了89高分。
而在零樣本評估在短語級數(shù)據(jù)集Flickr30k Entities上，新模型相比之前的最佳結(jié)果平均相對提升了7.34%。
此外，零樣本評估在詳細(xì)描述數(shù)據(jù)Ref-L4 上，DAM在基于短/長語言的描述指標(biāo)上分別實現(xiàn)了39.5%和13.1%的平均相對提升。
在研究人員提出的DLC-Bench測試中，DAM在詳細(xì)局部描述方面優(yōu)于之前的僅API模型、開源模型和特定區(qū)域VLM。
下表6所示，DAM在詳細(xì)局部視頻字幕方面刷新SOTA。
總而言之，DAM的優(yōu)勢主要有三大點：更詳細(xì)、更準(zhǔn)確；更少幻覺；多場景適用。
它的強大能力為眾多應(yīng)用場景打開了大門，未來諸如數(shù)據(jù)標(biāo)注、醫(yī)療影像、內(nèi)容創(chuàng)作等領(lǐng)域，都可以加速落地。
作者介紹
Long (Tony) Lian
Long (Tony) Lian目前是UC伯克利電子工程與計算機科學(xué)博士研究生，師從Adam Yala教授和Trevor Darrell教授。
他的研究主要聚焦于，通過強化學(xué)習(xí)（RL）開發(fā)具備推理能力的大模型（LLM）與視覺語言模型（VLM）。
此前，他曾在英偉達研究院Deep Imagination Research團隊實習(xí)。
Long (Tony) Lian本科畢業(yè)于UC伯克利計算機科學(xué)專業(yè)，師從Stella Yu教授。
參考資料：
https://x.com/YinCuiCV/status/1915054443734986912
https://describe-anything.github.io/
熱門跟貼