Neural LightRig團隊 投稿
量子位 | 公眾號 QbitAI
如何從一張普通的單幅圖像準確估計物體的三維法線和材質屬性，是計算機視覺與圖形學領域長期關注的難題。
這種單圖逆渲染任務存在嚴重的不確定性，傳統(tǒng)方法通常需要多角度或多光源的拍攝條件，難以在日常場景中普遍應用。
近日，由香港中文大學、上海人工智能實驗室及南洋理工大學的研究團隊聯合研發(fā)的論文《Neural LightRig: Unlocking Accurate Object Normal and Material Estimation with Multi-Light Diffusion》。
其成果已被計算機視覺頂級會議CVPR 2025正式接收。
核心立意
Neural LightRig創(chuàng)新性地提出利用圖像擴散模型（如Stable Diffusion）的強大先驗信息，生成虛擬的多光照圖像，從而有效解決單圖估計法線和PBR材質過程中存在的不確定性問題。
研究團隊首次提出通過微調預訓練的圖像擴散模型，生成不同光照條件下的一致性多光照圖像序列，這種方法有效減少了單圖估計過程中的內在不確定性。
混合條件策略：通過通道級別的圖像拼接與參考注意力機制的結合，引入輸入圖像的先驗信息，有效保證了生成圖像的顏色和紋理細節(jié)的一致性。
雙階段微調策略：首先僅微調擴散模型的初始卷積層及注意力層，以穩(wěn)定早期訓練；隨后以較低學習率微調整個模型，進一步提升模型生成多光照圖像的質量。
2. 基于U-Net的大型G-buffer重建模型
利用擴散模型生成的多光照圖像作為輔助信息，團隊設計了一個基于U-Net架構的回歸模型，以實現對物體表面法線和PBR材質屬性（包括反照率、粗糙度、金屬性）的高效精確估計。
顯式光照條件輸入：通過對光源位置進行球面坐標編碼，使模型能顯式地關聯不同光照方向下的圖像變化，更有效地預測物體表面屬性。
優(yōu)化目標設計：采用余弦相似度損失和均方誤差(MSE)聯合優(yōu)化法線估計，材質估計則采用簡單而有效的均方誤差損失。
數據增強策略：針對擴散模型生成圖像與真實渲染圖像之間的領域差異，提出隨機降質、亮度調整、光照方向擾動和數據混合策略，以提高模型的泛化能力與穩(wěn)定性。
實驗表現
在自主構建的大規(guī)模數據集LightProp上的實驗結果表明，Neural LightRig在各項指標上全面超越現有先進方法：
- 法線估計：平均角度誤差顯著降低至6.413°，大幅提高估計精度（詳見論文表1和圖5）；
- 材質估計與新光照下渲染效果：實現了對反照率、粗糙度和金屬性等材質屬性的精準估計，并能夠生成逼真的單圖重光照效果（詳見論文表2與圖6圖7）。
此外，該方法在真實世界圖像中的泛化表現突出，展現出良好的實際應用潛力，適用于增強現實（AR）、虛擬現實（VR）和數字內容創(chuàng)作等廣泛領域。
法線估計
材質估計
新光照渲染
開源與資源
為促進研究與應用，研究團隊已公開了相關資源，歡迎社區(qū)同行積極使用和探索：
代碼開源地址：
https://github.com/ZexinHe/Neural-LightRig
數據集開源地址：https://huggingface.co/datasets/zxhezexin/NLR-LightProp-Objaverse-Renderings
預訓練模型地址：https://huggingface.co/zxhezexin/neural-lightrig-mld-and-recon
論文鏈接：https://arxiv.org/abs/2412.09593
項目主頁：https://projects.zxhezexin.com/neural-lightrig/
熱門跟貼