新智元報道
編輯：LRST 好困
【新智元導讀】北京大學陳寶權(quán)教授團隊提出RainyGS技術(shù)，通過結(jié)合物理模擬和3D高斯?jié)姙R渲染框架，實現(xiàn)了真實場景中動態(tài)雨效的高質(zhì)量仿真與呈現(xiàn)，真正實現(xiàn)「從真實到真實」，或者「以仿真亂真」，即Real2Sim2Real ！相比現(xiàn)有的視頻編輯工具（如 Runway），其物理真實性獲得保證。該技術(shù)不僅能實時生成逼真的雨滴軌跡、水面波動和光線折射效果，還能讓用戶靈活調(diào)整雨量，為自動駕駛仿真、災害推演等場景提供像素級可信的動態(tài)孿生。
神經(jīng)輻射場（NeRF）及三維高斯潑濺（3D Gaussian Splatting，3DGS）雖能構(gòu)建靜態(tài)數(shù)字孿生，卻無法模擬真實世界的動態(tài)，不僅限制了虛擬現(xiàn)實和混合現(xiàn)實的真實感，也是智能訓練與Real2Sim2Real范式突破的關(guān)鍵瓶頸。
如何讓數(shù)字孿生世界具備真實物理規(guī)律，實現(xiàn)可預測、可操控的動態(tài)環(huán)境，是自動駕駛、具身智能等空間智能應用亟待解決的核心挑戰(zhàn)。
為此，北京大學陳寶權(quán)教授研究團隊提出RainyGS技術(shù)（合作者為楚夢渝、陳文拯助理教授，博士生戴啟宇、倪星宇和本科生沈千帆），探索了一條通向「孿生世界動態(tài)仿真」的新路徑。
目前，該成果已被CVPR 2025接收。
論文地址：https://arxiv.org/abs/2503.21442
項目主頁（內(nèi)附原始高質(zhì)量視頻）：https://pku-vcl-geometry.github.io/RainyGS/
RainyGS基于高精度表面表達，統(tǒng)一構(gòu)建孿生世界的幾何重建、高效渲染、準確仿真及精準交互，奠定了以高質(zhì)量表面表達為核心的孿生世界動態(tài)場景生成新范式。
以降雨、洪澇等復雜流體現(xiàn)象為案例，RainyGS借助3DGS的高效表面表達，融合物理仿真與實時渲染，實現(xiàn)了「從靜態(tài)到動態(tài)」的無縫擴展，不僅能夠為重建場景帶來逼真的動態(tài)雨效，精準呈現(xiàn)雨滴軌跡、水面波動、光線折射等物理現(xiàn)象，還支持用戶「動態(tài)調(diào)節(jié)雨量、風速、流向」，創(chuàng)造從細雨朦朧到暴雨傾盆的可控動態(tài)環(huán)境。
RainyGS并不僅僅是面向增強現(xiàn)實的動態(tài)場景生成技術(shù)，同時也代表了Real2Sim2Real的重要進展：RainyGS讓數(shù)字孿生世界不僅能「看見現(xiàn)實，呈現(xiàn)現(xiàn)實」，更能感知并預測物理變化，突破了傳統(tǒng)仿真工具在場景逼真多樣、高效性與交互性等方面的局限。
以自動駕駛為例，RainyGS能在真實場景里自動生成高逼真的雨天、洪澇等訓練數(shù)據(jù)，并提供完備的時空標簽，為無人駕駛系統(tǒng)在多變天氣下的安全性與可靠性提升提供堅實支撐。
此外，RainyGS還能為具身智能體提供更加豐富的動態(tài)交互訓練環(huán)境，推動空間智能技術(shù)的進一步發(fā)展，為自動駕駛、機器人、智慧城市等「空間智能」領域帶來全新可能。
從多視角圖像重建高保真的三維場景，RainyGS能夠高效生成具有高真實感的動態(tài)下雨效果
為什么「動態(tài)」這么難？
在孿生場景中添加下雨等動態(tài)現(xiàn)象聽起來似乎簡單，但實際卻極具挑戰(zhàn)。
日常的降雨現(xiàn)象包含雨滴在空中降落、在積水表面形成漣漪、水面層層波動等動態(tài)，包含濕潤場景的反射折射等視覺現(xiàn)象，這些都意味著大量的計算。
當前，部分工作選擇將3DGS同傳統(tǒng)的三維空間仿真技術(shù)相融合，這往往意味著要將3DGS的表面表達轉(zhuǎn)化為只含幾何信息的三維空間表達（如Grid體素網(wǎng)格、四面體mesh網(wǎng)格、粒子系統(tǒng)等等）來仿真，而渲染時又需要將數(shù)據(jù)轉(zhuǎn)換回去。
這一數(shù)據(jù)的往復轉(zhuǎn)換正是其中的瓶頸：為了保證三維空間仿真能夠高效完成，3DGS高精度表面表達往往被轉(zhuǎn)換為低分辨率的全空間表達，導致幾何精度下降但計算資源飆升。
這種精度「降低」但數(shù)據(jù)量「升維」的操作不僅大量消耗計算時間空間，更因插值誤差破壞信息一致性：高精度表面信息被浪費，低質(zhì)量插值數(shù)據(jù)引入誤差，最終讓動態(tài)和渲染呈現(xiàn)的真實感降低，使得許多工作無法同時滿足高保真和實時性需求。
RainyGS的破局之道：基于表面統(tǒng)一表達物理和外觀
RainyGS的創(chuàng)新之處在于，它以表面表達為核心，巧妙融合了幾何重建、仿真與渲染，在場景的多種計算之間，實現(xiàn)了無冗余且無精度損失的信息傳遞。
借助表面表達，RainyGS無需復雜的人工干預，也不額外引入信息插值和誤差，完美的保留了3DGS的像素級精度，又規(guī)避全局空間仿真的計算災難。
這種「從圖像到GS表面，從GS表面到表面物理計算」的表達閉環(huán)，突破性地實現(xiàn)了動態(tài)雨水的高效高保真呈現(xiàn)。
現(xiàn)有大模型等視頻生成技術(shù)雖能合成逼真雨景，卻常常犧牲物理規(guī)則——雨滴穿透墻體、積水無視重力、被遮擋物體「閃爍」跳變。
RainyGS的動態(tài)效果與輸入場景的幾何、材質(zhì)嚴格綁定：雨滴在積水表面撞出波紋、水流沿地面坡度自然擴散、濕潤表面折射率隨水深漸變。
這種基于表面表達的精細物理計算，使虛擬降雨的每一幀都具備可測量的真實性與三維一致性，為自動駕駛仿真、災害推演等場景提供像素級可信的動態(tài)孿生。
與視頻生成大模型的對比?，F(xiàn)有的視頻編輯方法（如 Runway Video2Video）通常難以保持輸入場景的幾何結(jié)構(gòu)，并且缺乏跨視角的三維一致性（例如，被遮擋區(qū)域在重新出現(xiàn)時可能發(fā)生變化），生成的下雨效果也難以保證物理真實。相比之下，RainyGS 不僅能夠保持輸入幾何結(jié)構(gòu)及其跨視角一致，還能生成逼真且動態(tài)變化的下雨效果
利用基于表面的表達統(tǒng)一場景建模和動態(tài)生成的方法論。物理現(xiàn)象的本質(zhì)是相互作用，多種相互作用（包括可形變固體和流體等等）可以等效或近似為能通過邊界方程加以控制的表面效應。而邊界方程可以自然地通過高斯橢球中提取而來的表面點云離散化
值得一提的是，RainyGS所采用的以表面表達統(tǒng)一渲染、仿真與幾何建模技術(shù)，其背后有堅實的理論支撐，具備較好的普適性，有潛力支撐大量動態(tài)現(xiàn)象的呈現(xiàn)。
物理動態(tài)主要描述的是物質(zhì)間的相互作用規(guī)律，而這些相互作用往往通過表面來體現(xiàn)，如固體的形變、流體的波動等等表面效應，可以利用幾何和物理推導，精確地使用邊界方程進行描述。
通過離散和求解表面方程，計算機圖形學領域已研究有一系列以表面為核心的仿真算法，如可變形物體的靜力學仿真、動力學仿真，如流體的表面張力構(gòu)形、水波波動等等。
這種以表面來仿真、表達世界的范式來源于表面作為物理交互「第一現(xiàn)場」的本質(zhì)屬性，與高斯表達完美契合，蘊含著高效統(tǒng)一多種動態(tài)及呈現(xiàn)的巨大潛力。
RainyGS：幾何、光照與物理動態(tài)的完美結(jié)合
RainyGS 框架示意圖。首先通過輸入多視角圖像，對場景的外觀與幾何進行高保真重建。隨后生成高度圖，并利用淺水模擬實現(xiàn)動態(tài)下雨效果（包括積水、漣漪、雨線等）。接著，在 3DGS 光柵化渲染的深度圖、法線圖等屏幕空間貼圖的基礎上，采用高效的屏幕空間光線追蹤來模擬反射與折射。最后，基于圖像的渲染（IBR）將各分量進行混合，生成逼真、動態(tài)的降雨場景
RainyGS的核心在于將基于物理的雨滴和淺水模擬技術(shù)與快速的高斯?jié)姙R渲染框架相結(jié)合，實現(xiàn)了真實場景中動態(tài)雨效的高質(zhì)量呈現(xiàn)。其核心技術(shù)架構(gòu)包含三大關(guān)鍵模塊：
緊致的信息提取
基于高斯表面投影實現(xiàn)場景高度場的無損提取, 服務于后續(xù)高精度的物理仿真；
基于高斯表達高效渲染幾何屬性，如場景的深度圖、法向圖，服務于后續(xù)高保真的屏幕渲染；
相比于其他復合表達的工作，我們的數(shù)據(jù)表達做到了完美契合，既保證轉(zhuǎn)換信息無冗余，如僅提取二維高度場而非三維空間幾何，同時保證數(shù)據(jù)轉(zhuǎn)換中精度一致，減少誤差。
精準的物理建模
基于淺水波方程（SWE）精確模擬雨滴與地面的動態(tài)交互；
實時計算雨滴軌跡、漣漪擴散等復雜物理現(xiàn)象；
支持動態(tài)調(diào)整降雨強度，從朦朧細雨到傾盆暴雨無縫切換。
高效的外觀渲染
引入屏幕空間光線追蹤技術(shù)，精準還原水面反射與折射效果；
依托三維高斯?jié)姙R（3DGS）和基于圖像的渲染（IBR）框架實現(xiàn)每秒30幀的實時渲染。
這種以表面表達為核心，支撐「精準建模+物理模擬+實時渲染」的創(chuàng)新架構(gòu)，既突破了傳統(tǒng)NeRF/3DGS在動態(tài)上的局限，又避免了純物理模擬對專業(yè)建模的依賴，達到實時且準確的仿真和渲染，大大提升場景的細節(jié)和沉浸感，為數(shù)字孿生、VR/AR、大模型及智能體訓練等任務提供了全新的動態(tài)解決方案。
逼真雨效，交互可控
RainyGS在MipNeRF360數(shù)據(jù)集以及Tanks and Temples數(shù)據(jù)集的多個真實世界場景中進行了驗證。實驗結(jié)果表明，RainyGS不僅在視覺上高度逼真，還能夠保持物理上的準確性，同時實現(xiàn)高效的實時性能。
與基于視頻的雨效合成方法相比，RainyGS能夠更好地保持場景的三維一致性，避免了輸入場景結(jié)構(gòu)的改變，并且能夠生成更加真實和動態(tài)的雨線、積水和漣漪效果。
此外，RainyGS還允許用戶靈活調(diào)整雨的強度，從「小雨」到「暴雨」，輕松滿足不同場景的需求。
本文視頻有一定壓縮，歡迎查看項目網(wǎng)站瀏覽高清降雨效果:https://pku-vcl-geometry.github.io/RainyGS/
MipNeRF360 - Treehill動態(tài)降雨生成結(jié)果
MipNeRF360 - Bicycle動態(tài)降雨生成結(jié)果
Tanks and Temples - Family動態(tài)降雨生成結(jié)果
Tanks and Temples - Truck動態(tài)降雨生成結(jié)果
下雨進程示意對降雨強度、水位（在圖中以 [ ] 表示）以及光照等要素的可控調(diào)節(jié)
開啟現(xiàn)實場景動態(tài)仿真新紀元
RainyGS的提出為多個領域帶來了新的機遇。在游戲開發(fā)中，它可以為圖片重建的虛擬世界增添更加逼真的天氣效果，虛實結(jié)合，提升玩家的沉浸感。
在自動駕駛模擬中，RainyGS能夠為訓練場景添加極端天氣數(shù)據(jù)，幫助自動駕駛系統(tǒng)更好地應對復雜環(huán)境，提高安全性。
Waymo動態(tài)降雨生成結(jié)果
RainyGS通過創(chuàng)新性融合物理模擬與高效渲染技術(shù)，實現(xiàn)高度逼真的動態(tài)降雨效果。其核心優(yōu)勢在于可擴展的架構(gòu)設計——基于新型高斯表示的物理引擎不僅能精準模擬雨滴軌跡、水面漣漪等復雜流體現(xiàn)象，還構(gòu)建了一個基于統(tǒng)一緊致表達的框架，支持向多物理場耦合擴展，如人體動態(tài)、布料模擬、風雪天氣等。
研究團隊正基于這一框架開發(fā)更豐富的動態(tài)交互系統(tǒng)，致力于實現(xiàn)物理精確的交互式建模。該技術(shù)仍在持續(xù)演進中，但這一基于高斯表示的動態(tài)建模體系已展現(xiàn)出重塑數(shù)字孿生和虛擬訓練環(huán)境技術(shù)標準的潛力。
相關(guān)研究有望推動數(shù)字孿生世界邁向更逼真、更復雜的時空動態(tài)場景，將進一步拓展Real2Sim2Real的無限可能，助力智能體訓練，推動空間智能的發(fā)展。
參考資料：
https://arxiv.org/abs/2503.21442
熱門跟貼