成人免费xxxxx在线视频软件_久久精品久久久_亚洲国产精品久久久_天天色天天色_亚洲人成一区_欧美一级欧美三级在线观看

IC-Light的視頻版本來了,RelightVid:強(qiáng)光動態(tài)環(huán)境下的視頻光照編輯神器

人工智能 新聞
來自復(fù)旦大學(xué)、上海交通大學(xué)、浙江大學(xué)、斯坦福大學(xué)等機(jī)構(gòu)的學(xué)者們正式宣布:IC-Light?的視頻版本來了——RelightVid!

大家還記得那個(gè) ICLR 2025 首次滿分接收、徹底顛覆靜態(tài)圖像光照編輯的工作 IC-Light 嗎?

今天,來自復(fù)旦大學(xué)、上海交通大學(xué)、浙江大學(xué)、斯坦福大學(xué)等機(jī)構(gòu)的學(xué)者們正式宣布:IC-Light 的視頻版本來了——RelightVid!

圖片

在視頻動態(tài)環(huán)境下實(shí)現(xiàn)時(shí)序一致、光影真實(shí)、支持強(qiáng)光動態(tài)場景的高質(zhì)量視頻光照編輯,徹底打開下一代視頻重光照的新篇章!

圖片

圖 1. RelightVid 框架結(jié)構(gòu)圖,從背景合成、光照注入到最終編輯,全面支持高質(zhì)量光影一致性視頻重光照

RelightVid 有何突破?

在 Relight Your Images 靜態(tài)圖像版本中,作者提出了通過條件控制方式實(shí)現(xiàn)靈活光照風(fēng)格遷移的革命性方法。而這次,團(tuán)隊(duì)將目光瞄準(zhǔn)更具挑戰(zhàn)性的目標(biāo)——視頻光照編輯

這不再是逐幀操作,而是要在真實(shí)的視頻中保持光照隨時(shí)間連續(xù)變化的時(shí)序一致性,還原自然真實(shí)的物理光影邏輯。

RelightVid 首次實(shí)現(xiàn)了在強(qiáng)動態(tài)光照條件下的長視頻編輯,不僅支持文字描述的光照風(fēng)格控制,還兼容參考視頻背景/光源圖像。最終輸出的視頻在保持內(nèi)容不變的同時(shí),實(shí)現(xiàn)了光照的統(tǒng)一重構(gòu)和流暢過渡。

從圖像到視頻:光照編輯的質(zhì)變飛躍

圖片

圖 2. RelightVid 框架結(jié)構(gòu)圖,從背景合成、光照注入到最終編輯,全面支持高質(zhì)量光影一致性視頻重光照

RelightVid 展示了如何在圖像層面實(shí)現(xiàn)任意光照控制,但當(dāng)場景換成視頻后,新的挑戰(zhàn)撲面而來:

時(shí)間一致性:逐幀編輯很容易出現(xiàn)光影跳變、邊界閃爍等問題

強(qiáng)光源建模:KTV、舞臺燈、城市霓虹燈等高動態(tài)強(qiáng)光環(huán)境,傳統(tǒng)方法無法真實(shí)還原

細(xì)節(jié)保持 vs 光照遷移的平衡:需要在保持原視頻內(nèi)容的前提下,引入合理的光照變化

為此,RelightVid 提出了 Reference-to-Video 光照注入框架,結(jié)合合成背景生成和雙分支前景編輯網(wǎng)絡(luò),構(gòu)建全新的視頻級光照編輯流程。

技術(shù)亮點(diǎn)搶先看!

Dual-Branch Architecture:將前景和背景解耦處理,前景保持結(jié)構(gòu)穩(wěn)定,背景靈活響應(yīng)光照變化,從而有效避免偽影和失真。

Reference-based Illumination Injection:支持通過靜態(tài)圖像、描述文字、甚至參考視頻,實(shí)現(xiàn)多模態(tài)光照風(fēng)格控制。

Temporal-aware Editing Strategy:引入時(shí)序建模模塊,對幀間關(guān)系進(jìn)行學(xué)習(xí),使得輸出視頻在光照變化中保持連貫性和自然性。

支持真實(shí)+合成混合輸入:Relight a Video 不依賴于實(shí)驗(yàn)室條件構(gòu)建的數(shù)據(jù)集,而是能從真實(shí)視頻+合成參考中學(xué)習(xí)強(qiáng)泛化能力。

實(shí)驗(yàn)結(jié)果震撼全場!

RelightVid 在多個(gè)真實(shí)+合成視頻數(shù)據(jù)集上進(jìn)行了系統(tǒng)測試,覆蓋了城市夜景、KTV 舞臺、戶外燈光等多個(gè)強(qiáng)動態(tài)光源環(huán)境。

圖片

圖片

圖 3. RelightVid 實(shí)驗(yàn)效果

通過與圖像逐幀方法、video editing 等 baseline 方法比較,RelightVid 在保持視頻內(nèi)容連貫性的同時(shí),實(shí)現(xiàn)了更加真實(shí)、自然的光照變化。

圖 3 右圖展示了在城市夜景場景下,輸入原視頻、參考霓虹燈圖像后,Relight a Video 能夠精確模擬出霓虹反光、水面投影等復(fù)雜光影現(xiàn)象,視覺效果極為震撼。

構(gòu)建全新光照視頻編輯基準(zhǔn)數(shù)據(jù)集!

圖片

圖 4 LightAtlas 數(shù)據(jù)集構(gòu)建過程

為了支持這一任務(wù)的評估,作者構(gòu)建了一個(gè)融合真實(shí)與合成場景的高質(zhì)量 benchmark,LightAtlas 包括:

  • 多種類型的參考光源(圖像/視頻/文本)
  • 超過百段來自真實(shí)世界場景的動態(tài)視頻
  • 長達(dá) 10 秒以上的高時(shí)序連續(xù)性
  • 并配套設(shè)計(jì)了光照質(zhì)量、內(nèi)容保持度、時(shí)間穩(wěn)定性等多維度指標(biāo),用于全面評估視頻 relighting 效果。

Relight a Video 正式開源!快來一起 relight the world!

Relight a Video 已全面開源,項(xiàng)目主頁提供了詳細(xì)的模型結(jié)構(gòu)、推理腳本、demo 視頻和數(shù)據(jù)下載地址。如果你對圖像/視頻編輯、3D 重建、視覺物理建模、生成模型感興趣,Relight a Video 是你絕不能錯過的方向!

責(zé)任編輯:張燕妮 來源: 機(jī)器之心
相關(guān)推薦

2025-02-20 13:00:00

2013-03-28 15:28:07

Linux Deepi

2023-07-18 17:59:38

2023-07-25 16:49:12

2023-08-04 13:32:00

Linux視頻編輯

2021-12-02 15:14:02

ffmpeg視頻Python

2023-04-14 13:52:09

AI視頻

2016-11-14 22:27:02

Linux視頻編輯軟件

2021-01-27 18:30:48

微信表情包移動應(yīng)用

2020-09-11 10:35:17

Kubernetes 日志開源

2023-07-05 14:06:43

視頻AI

2010-01-04 17:29:00

Silverlight

2022-03-20 18:12:03

Shotcut開源視頻編輯器

2014-04-15 13:55:20

視頻編輯軟件

2023-09-02 20:34:04

2023-11-09 19:12:43

AIoTel視頻編碼

2024-01-15 16:34:13

模型訓(xùn)練

2023-05-11 13:55:00

LinuxKdenlive編輯視頻

2022-10-24 10:09:54

AIoTel編碼安防
點(diǎn)贊
收藏

51CTO技術(shù)棧公眾號

主站蜘蛛池模板: 欧美男人天堂 | 国产电影精品久久 | 日韩中文字幕av | 一级特黄网站 | 久久久久久成人网 | av中文字幕在线播放 | 成人免费视频一区二区 | 中文字幕第一页在线 | 久久三级av| 国产精品久久久久久久毛片 | 日本精品一区二区 | 久久久一区二区三区 | 农村真人裸体丰满少妇毛片 | 国产精品久久久久久久久久久久久久 | 欧美xxxx性xxxxx高清 | 国产精品99久久久久久www | 玖玖爱365| 中文字幕 在线观看 | 亚洲一区二区 | 久久久一区二区三区 | 一区二区av | 欧美精品一区二区在线观看 | 国产精品一区二区在线播放 | 亚洲免费在线观看av | 国产精品久久网 | 国产欧美一区二区精品久导航 | 亚洲美乳中文字幕 | 亚洲高清av | 成人小视频在线观看 | 精品欧美激情精品一区 | 91免费版在线观看 | 日本五月婷婷 | 九九综合九九 | 色一级 | 一二三区av | 91天堂网| www.99精品| 在线成人 | 最新黄色毛片 | 永久www成人看片 | 日本成人中文字幕在线观看 |