成人免费xxxxx在线视频软件_久久精品久久久_亚洲国产精品久久久_天天色天天色_亚洲人成一区_欧美一级欧美三级在线观看

騰訊開源視頻生成新工具,論文還沒發(fā)先上代碼的那種

人工智能 新聞
名為MuseV,主打基于視覺條件并行去噪的無限長度和高保真虛擬人視頻生成。

想了解更多AIGC的內容,請訪問:

51CTO AI.x社區(qū)

http://m.ekrvqnd.cn/aigc/

先上代碼再發(fā)論文,騰訊新開源文生視頻工具火了。

名為MuseV,主打基于視覺條件并行去噪的無限長度和高保真虛擬人視頻生成。

老規(guī)矩,先看效果。

靜態(tài)的金克絲秒秒鐘就能動起來朝你拋媚眼:

圖片

畫中詩圣也“活”了過來:

圖片

各種風格都能駕馭,風景圖也不在話下:

圖片

更有搞笑風《微笑的騎士》:

圖片

再上難度,復雜些的彈唱也處理得比較自然:

圖片

此外,加入“骨架”控制動作、姿勢也可以:

圖片

騰訊這次論文還沒發(fā)直接放出訓練好的模型和部署運行的代碼的操作讓網友眼前一亮。主頁顯示訓練代碼也即將推出。

不少人已趁熱碼住,GitHub獲星500+。

圖片

還有網友已經玩上了:

圖片

圍觀網友直呼距離成為視頻達人只差一個AI。

圖片

嘴唇也能同步

除了直接放出模型代碼,目前MuseV還有demo可體驗。

圖片

demo界面有兩種玩法。

一種可以上傳一張圖然后加上Prompt在這張圖的基礎上進行視頻生成;另一種是上傳一個參考視頻和一張圖,使圖片中的內容按照視頻中的動作運動起來。

圖片

緊接著下方還有一些參數(shù)可以調整??梢宰远x視頻的時長以及視頻的尺寸。

圖片

此外值得一提的是,文本、圖像到視頻的生成結果的所有幀直接由MuseV生成,沒有時序超分辨、空間超分辨等任何后處理。

而輸入視頻控制姿態(tài)的生成模式下,開發(fā)團隊表示需要參考視頻的首幀條件和參考圖像的首幀條件對齊,不然會破壞首幀的信息,效果會更差。所以一般生成流程是:

  • 確定參考視頻;
  • 用參考視頻的首幀走圖生圖、controlnet流程,可以使用MJ等各種平臺;
  • 拿第二步中的生成圖、參考視頻用MuseV生成視頻。

圖片

除MuseV,開發(fā)團隊還表示即將發(fā)布一個實時高質量的唇同步模型——MuseTalk,可與MuseV一起搭配使用。

用上它,蒙娜麗莎也能對嘴型唱歌。

MuseV里面長啥樣?

技術方面,據(jù)了解MuseV是在去年7月左右基于擴散模型實現(xiàn)的技術進展,受到Sora啟發(fā),開發(fā)團隊決定開源MuseV,之后將轉向擴散+Transformer方案。

也就是說,MuseV是基于擴散模型的虛擬人視頻生成框架

模型架構如下圖所示:

圖片

總的來說,MuseV具有以下特點:

首先是支持使用新穎的視覺條件并行去噪方案進行無限長度生成,不會再有誤差累計的問題,尤其適用于固定相機位的場景。

并行去噪算法示意圖如下:

圖片

其次,MuseV提供了基于人物類型數(shù)據(jù)集訓練的虛擬人視頻生成預訓練模型。

而且支持圖像到視頻、文本到圖像到視頻、視頻到視頻的生成;兼容Stable Diffusion文圖生成生態(tài)系統(tǒng),包括base_model、lora、controlnet等。

還支持多參考圖像技術,包括IPAdapter、ReferenceOnly、ReferenceNet、IPAdapterFaceID。

想了解更多AIGC的內容,請訪問:

51CTO AI.x社區(qū)

http://m.ekrvqnd.cn/aigc/

責任編輯:張燕妮 來源: 量子位
相關推薦

2025-01-26 10:50:00

模型視頻生成

2023-04-03 10:04:44

開源模型

2011-03-01 16:08:46

2024-03-25 00:30:00

AI框架

2024-11-25 08:20:00

2025-03-27 09:24:16

2025-07-02 08:30:00

視頻生成AI模型

2024-10-28 07:30:00

2021-02-01 10:11:04

工具代碼開發(fā)

2024-03-27 12:46:53

AI訓練

2025-02-14 09:30:00

視頻生成模型開源機器人

2025-04-15 09:08:51

系統(tǒng)數(shù)據(jù)模型

2025-02-26 09:44:14

2024-09-23 15:40:00

2025-02-27 12:44:41

2024-04-07 14:56:22

技術應用

2015-05-18 17:09:45

Omaha

2024-02-26 16:55:51

Sora人工智能
點贊
收藏

51CTO技術棧公眾號

主站蜘蛛池模板: 毛片免费观看 | 欧美精品在线免费 | 美国黄色毛片 | 国产在线一区二区三区 | 狠狠视频 | 91精品国产综合久久婷婷香蕉 | 国产精品成人久久久久a级 久久蜜桃av一区二区天堂 | 孰女乱色一区二区三区 | 小视频你懂得 | 久久久久国产精品午夜一区 | 一区中文 | 国产免费一区二区三区 | 久久久国产一区二区三区四区小说 | 一区二区三区精品视频 | 日韩欧美大片在线观看 | 午夜a区 | 波多野结衣在线观看一区二区三区 | 久久久久久女 | 日韩一级免费大片 | 亚洲高清视频在线观看 | 亚洲精品国产成人 | 日韩精品免费 | 综合一区 | 热久久久 | 91精品国产综合久久精品 | 天天操精品视频 | 噜久寡妇噜噜久久寡妇 | 亚洲一区二区三区免费在线观看 | 日韩中文在线观看 | 国产精品中文字幕在线播放 | 91麻豆精品国产91久久久久久久久 | 欧美成人一区二免费视频软件 | 玖玖视频网 | 天天干天天爽 | av中文网| 久久精品中文 | 亚洲一区精品在线 | a视频在线观看 | 国产成人99久久亚洲综合精品 | 成人精品一区 | 欧美日韩国产精品一区 |