大家還記得那個 ICLR 2025 首次滿分接收、徹底顛覆靜態(tài)圖像光照編輯的工作 IC-Light 嗎？
今天，來自復(fù)旦大學(xué)、上海交通大學(xué)、浙江大學(xué)、斯坦福大學(xué)等機(jī)構(gòu)的學(xué)者們正式宣布：IC-Light 的視頻版本來了——RelightVid！
- 論文標(biāo)題：RelightVid: Temporal-Consistent Diffusion Model for Video Relighting
- 論文鏈接：https://arxiv.org/pdf/2501.16330
- 項目地址：https://aleafy.github.io/relightvid/
- Code: https://github.com/Aleafy/RelightVid
在視頻動態(tài)環(huán)境下實現(xiàn)時序一致、光影真實、支持強(qiáng)光動態(tài)場景的高質(zhì)量視頻光照編輯，徹底打開下一代視頻重光照的新篇章！
圖 1. RelightVid 框架結(jié)構(gòu)圖，從背景合成、光照注入到最終編輯，全面支持高質(zhì)量光影一致性視頻重光照
RelightVid 有何突破？
在 Relight Your Images 靜態(tài)圖像版本中，作者提出了通過條件控制方式實現(xiàn)靈活光照風(fēng)格遷移的革命性方法。而這次，團(tuán)隊將目光瞄準(zhǔn)更具挑戰(zhàn)性的目標(biāo)——視頻光照編輯
這不再是逐幀操作，而是要在真實的視頻中保持光照隨時間連續(xù)變化的時序一致性，還原自然真實的物理光影邏輯。
RelightVid首次實現(xiàn)了在強(qiáng)動態(tài)光照條件下的長視頻編輯，不僅支持文字描述的光照風(fēng)格控制，還兼容參考視頻背景/光源圖像。最終輸出的視頻在保持內(nèi)容不變的同時，實現(xiàn)了光照的統(tǒng)一重構(gòu)和流暢過渡。
從圖像到視頻：光照編輯的質(zhì)變飛躍
圖 2. RelightVid 框架結(jié)構(gòu)圖，從背景合成、光照注入到最終編輯，全面支持高質(zhì)量光影一致性視頻重光照
RelightVid展示了如何在圖像層面實現(xiàn)任意光照控制，但當(dāng)場景換成視頻后，新的挑戰(zhàn)撲面而來：
時間一致性：逐幀編輯很容易出現(xiàn)光影跳變、邊界閃爍等問題
強(qiáng)光源建模：KTV、舞臺燈、城市霓虹燈等高動態(tài)強(qiáng)光環(huán)境，傳統(tǒng)方法無法真實還原
細(xì)節(jié)保持 vs 光照遷移的平衡：需要在保持原視頻內(nèi)容的前提下，引入合理的光照變化
為此，RelightVid提出了Reference-to-Video 光照注入框架，結(jié)合合成背景生成和雙分支前景編輯網(wǎng)絡(luò)，構(gòu)建全新的視頻級光照編輯流程。
技術(shù)亮點(diǎn)搶先看！
Dual-Branch Architecture：將前景和背景解耦處理，前景保持結(jié)構(gòu)穩(wěn)定，背景靈活響應(yīng)光照變化，從而有效避免偽影和失真。
Reference-based Illumination Injection：支持通過靜態(tài)圖像、描述文字、甚至參考視頻，實現(xiàn)多模態(tài)光照風(fēng)格控制。
Temporal-aware Editing Strategy：引入時序建模模塊，對幀間關(guān)系進(jìn)行學(xué)習(xí)，使得輸出視頻在光照變化中保持連貫性和自然性。
支持真實+合成混合輸入：Relight a Video 不依賴于實驗室條件構(gòu)建的數(shù)據(jù)集，而是能從真實視頻+合成參考中學(xué)習(xí)強(qiáng)泛化能力。
實驗結(jié)果震撼全場！
RelightVid在多個真實+合成視頻數(shù)據(jù)集上進(jìn)行了系統(tǒng)測試，覆蓋了城市夜景、KTV 舞臺、戶外燈光等多個強(qiáng)動態(tài)光源環(huán)境。
圖 3. RelightVid 實驗效果
通過與圖像逐幀方法、video editing 等 baseline 方法比較，RelightVid在保持視頻內(nèi)容連貫性的同時，實現(xiàn)了更加真實、自然的光照變化。
圖 3 右圖展示了在城市夜景場景下，輸入原視頻、參考霓虹燈圖像后，Relight a Video 能夠精確模擬出霓虹反光、水面投影等復(fù)雜光影現(xiàn)象，視覺效果極為震撼。
構(gòu)建全新光照視頻編輯基準(zhǔn)數(shù)據(jù)集！
圖 4 LightAtlas 數(shù)據(jù)集構(gòu)建過程
為了支持這一任務(wù)的評估，作者構(gòu)建了一個融合真實與合成場景的高質(zhì)量 benchmark，LightAtlas 包括：
- 多種類型的參考光源（圖像/視頻/文本）
- 超過百段來自真實世界場景的動態(tài)視頻
- 長達(dá) 10 秒以上的高時序連續(xù)性
- 并配套設(shè)計了光照質(zhì)量、內(nèi)容保持度、時間穩(wěn)定性等多維度指標(biāo)，用于全面評估視頻 relighting 效果。
Relight a Video 正式開源！快來一起 relight the world！
Relight a Video 已全面開源，項目主頁提供了詳細(xì)的模型結(jié)構(gòu)、推理腳本、demo 視頻和數(shù)據(jù)下載地址。如果你對圖像/視頻編輯、3D 重建、視覺物理建模、生成模型感興趣，Relight a Video 是你絕不能錯過的方向！
熱門跟貼