CityGS-X團(tuán)隊(duì) 投稿
量子位 | 公眾號(hào) QbitAI
僅用4090就能實(shí)現(xiàn)大規(guī)模城市場(chǎng)景重建
高效幾何重建新架構(gòu)CityGS-X來了，通過一種新型并行化混合分層三維表征架構(gòu)（PH2-3D）的可擴(kuò)展系統(tǒng)，突破了傳統(tǒng)三維重建在算力消耗和幾何精度上的限制。
算力瓶頸無處不在，當(dāng)前3D高斯?jié)姙R技術(shù)雖取得顯著進(jìn)展，卻仍面臨三大核心挑戰(zhàn)：處理速度緩慢、計(jì)算成本高昂、幾何精度有限
來自上海AI Lab和西工大的研究團(tuán)隊(duì)認(rèn)為，這些問題的根源在于其非結(jié)構(gòu)化設(shè)計(jì)本質(zhì)與并行化機(jī)制的缺失。
這就引出一個(gè)關(guān)鍵命題：能否構(gòu)建一個(gè)兼具高效性、擴(kuò)展性和精確性的新一代幾何重建框架？
由此，團(tuán)隊(duì)提出了CityGS-X，研究的主要貢獻(xiàn)在于：
- 提出并行化混合層次三維表征（PH2-3D）的可擴(kuò)展架構(gòu)，摒棄了傳統(tǒng)大場(chǎng)景分塊算法造成的訓(xùn)練冗余，相比現(xiàn)有的SOTA幾何重建方法，訓(xùn)練速度提升了一倍
- 提出多任務(wù)批渲染框架下的動(dòng)態(tài)分配錨點(diǎn)的并行機(jī)制，在訓(xùn)練階段以及渲染階段可以利用多張低端卡平替以及超越目前單張高端顯卡，對(duì)于5000+圖的大場(chǎng)景（Matrixcity）只需4卡4090即可實(shí)現(xiàn)
- 提出在模態(tài)批渲染框架下的漸進(jìn)式RGB-深度-法向聯(lián)合訓(xùn)練方法，在RGB渲染和幾何精度上都達(dá)到同類任務(wù)中的SOTA。
以下是更多細(xì)節(jié)。
CityGS-X的構(gòu)建
CityGS-X提出基于并行化混合層次三維表征（PH2-3D）的可擴(kuò)展架構(gòu)，摒棄傳統(tǒng)繁瑣的合并-分區(qū)流程，首創(chuàng)批處理級(jí)多任務(wù)渲染機(jī)制；
開發(fā)動(dòng)態(tài)多細(xì)節(jié)層次體素分配策略，實(shí)現(xiàn)顯存占用與計(jì)算效率的平衡；
設(shè)計(jì)漸進(jìn)式RGB-深度-法線聯(lián)合訓(xùn)練方案，通過多視角約束與深度先驗(yàn)的協(xié)同優(yōu)化，顯著提升幾何一致性。
PH2-3D的設(shè)計(jì)
批處理級(jí)多任務(wù)渲染機(jī)制
團(tuán)隊(duì)采用批處理級(jí)多任務(wù)渲染機(jī)制，首先將批量渲染圖像分割為16×16像素的圖塊，并基于Grendal-GS的自適應(yīng)負(fù)載均衡策略分配到不同GPU。
在每塊渲染任務(wù)中，提出視角相關(guān)高斯遷移策略：并行搜索所有GPU上各LoD層級(jí)的相交體素，預(yù)測(cè)對(duì)應(yīng)高斯屬性（如公式所示），并遷移至任務(wù)分配GPU。
隨后各區(qū)塊遵循經(jīng)典基于瓦片的光柵化并行渲染：
其中N為遷移高斯點(diǎn)數(shù)量，π(·)為遷移高斯重排序函數(shù)。
同時(shí)基于PGSR策略生成當(dāng)前視角法線圖：
批處理級(jí)連續(xù)性漸進(jìn)訓(xùn)練
作者提出三階段漸進(jìn)式訓(xùn)練策略：
階段一：批處理級(jí)RGB訓(xùn)練
階段二：增強(qiáng)深度先驗(yàn)訓(xùn)練
基于最新單目深度估計(jì)器具有平滑連續(xù)的表面預(yù)測(cè)特性，作者提出改進(jìn)方案：
階段三：批處理級(jí)幾何訓(xùn)練
實(shí)驗(yàn)結(jié)果
以下是與主流方法的渲染指標(biāo)對(duì)比（本文方法均使用4卡4090）
深度圖可視化結(jié)果：
對(duì)比試驗(yàn)中，團(tuán)隊(duì)在RGB渲染、深度渲染與其它方法對(duì)比，實(shí)驗(yàn)表明CityGS-X在RGB渲染最優(yōu)的情況下，深度圖也最準(zhǔn)確，具有更少的浮點(diǎn)以及地面的空洞
同時(shí)對(duì)于法線圖渲染，CityGS-X也展現(xiàn)出更準(zhǔn)確的細(xì)節(jié)
法線圖可視化:
與目前的SOTA方法相比，CityGS-X在整體的mesh可視化上都有顯著提升
texture和mesh可視化對(duì)比：
時(shí)間對(duì)比實(shí)驗(yàn)結(jié)果：
F1分?jǐn)?shù)對(duì)比實(shí)驗(yàn)結(jié)果：
在MatriCity數(shù)據(jù)集上進(jìn)行定量對(duì)比，CityGS-X在重建精度上有顯著提升，同時(shí)在訓(xùn)練速度上也有明顯提升。
論文鏈接：https://arxiv.org/pdf/2503.23044
項(xiàng)目主頁：https://lifuguan.github.io/CityGS-X/
項(xiàng)目代碼：https://github.com/gyy456/CityGS-X
熱門跟貼