得克薩斯大學(xué)提出了HSMR（人體骨架和網(wǎng)格恢復(fù)），這是第一個(gè)端到端的方法，用于從 單張圖像恢復(fù)SKEL參數(shù)。HSMR在極端姿態(tài)和視角下表現(xiàn)出強(qiáng)大的魯棒性，提供生物力學(xué)準(zhǔn)確的人體姿態(tài)估計(jì)，同時(shí)仍能與最相關(guān)的最先進(jìn)方法（回歸SMPL參數(shù)的方法）匹敵。（鏈接在文章底部，可在線體驗(yàn)）
與最先進(jìn)的3D人體姿態(tài)估計(jì)方法相比，HSMR模型在標(biāo)準(zhǔn)基準(zhǔn)測(cè)試上取得了具有競(jìng)爭(zhēng)力的表現(xiàn)，同時(shí)在極端的3D姿態(tài)和視角下顯著優(yōu)于它們。這一結(jié)果突出了使用具有現(xiàn)實(shí)自由度的生物力學(xué)骨架在強(qiáng)健姿態(tài)估計(jì)中的優(yōu)勢(shì)。此外，還展示了以往模型常常違反關(guān)節(jié)角度限制，導(dǎo)致不自然的旋轉(zhuǎn)。相比之下，HSMR方法利用生物力學(xué)合理的自由度，能夠更真實(shí)地估計(jì)關(guān)節(jié)旋轉(zhuǎn)。
01 技術(shù)原理
HSMR的一個(gè)關(guān)鍵設(shè)計(jì)選擇是采用SKEL參數(shù)化人體模型，該模型基于生物力學(xué)精確的骨架設(shè)計(jì)。使用基于Transformer的架構(gòu)，輸入為一張人體圖像，模型估計(jì)SKEL模型的姿態(tài)參數(shù)q和形狀參數(shù)β。在訓(xùn)練過(guò)程中，通過(guò)迭代更新偽地面真值，以監(jiān)督模型，旨在提高其質(zhì)量。為此，優(yōu)化HSMR的估計(jì)結(jié)果，使其與地面真值的2D關(guān)鍵點(diǎn)對(duì)齊（SKELify）。優(yōu)化輸出的參數(shù)將在未來(lái)的訓(xùn)練迭代中作為監(jiān)督目標(biāo)。
HSMR的一個(gè)局限性是僅使用偽地面真值進(jìn)行訓(xùn)練。盡管迭代優(yōu)化提高了偽地面真值的質(zhì)量，但網(wǎng)絡(luò)仍然可以從更精確的3D標(biāo)簽中受益。此外，觀察到在時(shí)間重建中存在一些不可避免的抖動(dòng)。相信后續(xù)工作可以解決平滑SKEL運(yùn)動(dòng)的恢復(fù)問(wèn)題。
02 演示效果與對(duì)比
在3D人體姿態(tài)估計(jì)方面，HSMR方法與最先進(jìn)的人體網(wǎng)格恢復(fù)方法相匹配，同時(shí)在具有挑戰(zhàn)性姿態(tài)和非傳統(tǒng)視角的案例中超越了它們。此外，展示了以往SMPL回歸方法未能遵守生物力學(xué)約束，導(dǎo)致關(guān)節(jié)角度限制被嚴(yán)重違反。
SMPL的關(guān)節(jié)旋轉(zhuǎn)不自然的示例。SMPL使用球形關(guān)節(jié)表示膝蓋，這使得像HMR2.0這樣的網(wǎng)格恢復(fù)方法可能生成無(wú)效的旋轉(zhuǎn)?？梢暬藖?lái)自HMR2.0的示例（淺綠色），在這些示例中膝蓋以不自然的方式彎曲。相比之下，HSMR的輸出（淺藍(lán)色）則遵循了生物力學(xué)約束。
https://github.com/IsshikiHugh/HSMR
https://arxiv.org/pdf/2503.21751
https://huggingface.co/spaces/IsshikiHugh/HSMR歡迎交流～，帶你學(xué)習(xí)AI，了解AI
熱門跟貼