3D內(nèi)容創(chuàng)作的迅猛發(fā)展，涵蓋了AI驅動的方法與傳統(tǒng)工作流程，正推動對自動綁定（rigging）解決方案的空前需求，以應對日益復雜和多樣化的3D模型。清華大學提出了UniRig，一個新穎的統(tǒng)一框架，用于自動骨骼綁定。該方法結合了大型自回歸模型的能力與骨點交叉注意力機制，不僅能生成高質量的骨骼結構，還能準確計算蒙皮權重（skinning weights）。（鏈接在文章底部）
UniRig方法可以無縫應用于不同種類的對象，從精細的動漫角色到復雜的有機和無機結構，展現(xiàn)了強大的適應性與魯棒性。通過自動化這一耗時又繁瑣的綁定過程，UniRig有望以前所未有的效率加速動畫制作流程。盡管 UniRig 展現(xiàn)出強大的能力，但仍存在一些局限性。與其他基于學習的方法一樣，UniRig 的性能在很大程度上依賴于訓練數(shù)據(jù)的質量與多樣性。雖然 Rig-XL 是一個規(guī)模龐大且多樣的數(shù)據(jù)集，但它仍無法涵蓋所有可能存在的骨架結構和對象類別。
01 技術原理
UniRig 框架的整體結構主要包括兩個階段：（a）骨架樹預測 和（b）蒙皮權重預測。（a）在骨架預測階段，輸入為從3D網(wǎng)格中采樣得到的點云，首先通過形狀編碼器（Shape Encoder）提取幾何特征。這些特征連同可選的類別信息一并輸入到自回歸的Skeleton Tree GPT模型中，生成表示骨架樹的標記序列。隨后，該標記序列被解碼為層級化的骨架結構。
（b）在蒙皮權重預測階段，輸入包括來自（a）階段預測得到的骨架樹和點云。逐點編碼器（Point-wise Encoder）從點云中提取特征，骨骼編碼器（Bone Encoder）則處理骨架樹。隨后，這些特征通過骨點交叉注意力機制（Bone-Point Cross Attention）進行融合，用于預測蒙皮權重和骨骼屬性。最終，預測得到的綁定結果可用于驅動網(wǎng)格動畫。
為訓練和評估UniRig，構建了一個名為Rig-XL的大規(guī)模數(shù)據(jù)集，包含超過14,000個已綁定的3D模型，涵蓋了各種類別，展示了不同類型骨架的分布情況以及骨骼數(shù)量的分布情況。
02 演示效果
盡管 UniRig 擁有出色的性能，但其預測結果可能會出現(xiàn)偏差或失準。尤其是在處理結構極其抽象或風格化程度極高的角色時，UniRig 可能難以生成準確且合理的骨架配置。
UniRig 在蒙皮權重預測方面的精度，尤其是在如頭發(fā)這類細節(jié)上，相較于以往方法表現(xiàn)更優(yōu)。UniRig 在更復雜示例（如螞蟻）上的高精度骨架綁定和優(yōu)異的權重生成效果。
https://github.com/VAST-AI-Research/UniRig
https://zjp-shadow.github.io/works/UniRig/static/supp/UniRig.pdf
https://huggingface.co/VAST-AI/UniRig歡迎交流～，帶你學習AI，了解AI
熱門跟貼