好消息！好消息～ 歡迎科研團(tuán)隊(duì)供稿 免費(fèi)分享學(xué)術(shù)、項(xiàng)目成果
3D 部件的無(wú)模態(tài)分割—即將 3D 形狀分解為完整的、語(yǔ)義上有意義的部件，即使這些部件被遮擋—是一個(gè)具有挑戰(zhàn)性但至關(guān)重要的任務(wù)，對(duì)于 3D 內(nèi)容創(chuàng)作和理解至關(guān)重要?，F(xiàn)有的 3D 部件分割方法僅能識(shí)別可見的表面片段，限制了它們的應(yīng)用。
受 2D 無(wú)模態(tài)分割啟發(fā)，香港大學(xué)將這一新任務(wù)引入 3D 領(lǐng)域，并提出了一種實(shí)用的兩階段方法HoloPart，解決了推斷遮擋 3D 幾何形狀、保持全局形狀一致性以及處理有限訓(xùn)練數(shù)據(jù)下多樣化形狀的關(guān)鍵挑戰(zhàn)。3D 部件無(wú)模態(tài)分割將 3D 形狀分解為完整的語(yǔ)義部件，而不是破碎的表面片段，從而促進(jìn)了各種下游應(yīng)用。（鏈接在文章底部）
01 技術(shù)原理
首先，利用現(xiàn)有的 3D 部件分割方法獲得初步的不完整部件片段。其次，提出了 PartComp，一種基于擴(kuò)散的模型，用于將這些片段完成成完整的 3D 部件。PartComp 采用了一個(gè)專門的架構(gòu)，利用局部注意力捕捉細(xì)粒度的部件幾何信息，并通過(guò)全局形狀上下文注意力確保整體形狀的一致性。
給定一個(gè)完整的 3D 形狀和相應(yīng)的表面分割掩碼，PartComp 將這些輸入編碼為潛在的標(biāo)記，通過(guò)上下文感知注意力捕捉全局形狀上下文，并通過(guò)局部注意力捕捉局部部件的細(xì)節(jié)特征和位置映射。這些標(biāo)記作為條件輸入，通過(guò)交叉注意力分別注入到部件擴(kuò)散模型中。在訓(xùn)練過(guò)程中，噪聲被添加到 3D 部件中，模型學(xué)習(xí)去噪并恢復(fù)原始完整的部件。
02 對(duì)比與演示效果
在 ABO 數(shù)據(jù)集上，將HoloPart方法與 PatchComplete、DiffComplete以及微調(diào)過(guò)的 VAE 進(jìn)行了比較。當(dāng)處理包含大量缺失區(qū)域的部件時(shí)，PartComplete 很難生成合理的形狀。PatchComplete 和 DiffComplete 常常無(wú)法重建小的或細(xì)的結(jié)構(gòu)，如圖中的床單或燈的連接部分。
盡管微調(diào)過(guò)的 VAE 可以重建具有較大可見區(qū)域的部件，但在完成可見性較差的區(qū)域時(shí)表現(xiàn)不佳，例如圖中的床架或椅子的內(nèi)部。相比之下，HoloPart方法始終能夠生成高質(zhì)量、一致的部件，并且在定量和定性評(píng)估中都顯著優(yōu)于其他方法。
https://huggingface.co/spaces/VAST-AI/HoloPart
https://arxiv.org/pdf/2504.07943
https://huggingface.co/VAST-AI/HoloPart
https://github.com/VAST-AI-Research/HoloPart歡迎交流～，帶你學(xué)習(xí)AI，了解AI
熱門跟貼