在GitHub狂攬1w+星標的通義萬相Wan2.1，又雙叒上新了！

最新打開方式是醬嬸兒的：

給出開始（首幀）和結(jié)束（尾幀）兩張圖片，Wan2.1便能分分鐘生成一段絲滑的5s、720p視頻。

根據(jù)前后視角的不同，還能自動調(diào)整鏡頭角度，緩慢變成高空俯拍，并同時保證人物光影正確：

原來這是阿里通義萬相Wan2.1最新開源的首尾幀視頻模型，基于Wan2.1文生視頻14B大模型，為創(chuàng)作者們提供更高效、更靈活的視頻制作方式。

官方表示，這是業(yè)界首個百億參數(shù)規(guī)模的開源首尾幀視頻模型。

目前普通用戶可以直接在通義萬相官網(wǎng)體驗，開發(fā)者可以通過GitHub、Hugging Face、魔搭社區(qū)等開源平臺使用。

為了評估其真實能力，我們也在第一時間上手實測了一波。

初步感受是，從整體上來說，Wan2.1首尾幀視頻模型這次在主體一致性、前后連貫性等方面確實表現(xiàn)不錯。

我們嘗試了用它來改造經(jīng)典梗圖或挑戰(zhàn)一些火爆一時的玩法，具體過程如下。

實測Wan2.1首尾幀視頻模型

打開通義萬相官網(wǎng)，進入視頻生成，然后選擇圖生視頻并開啟首尾幀功能：

先上經(jīng)典玩法——“文藝復興”表情包。

我們提供的首尾幀分別如下：

對于這樣兩張頗具戲劇張力的圖片，Wan2.1最終生成的視頻be like：

雖然不能深究故事合理性，但整個轉(zhuǎn)場確實非常絲滑，而且運動過程中人物的一致性保持較好，類似頭發(fā)、長相、服裝這樣易出錯的細節(jié)也hold住了。

接下來難度升級，我們又嘗試讓兩張完全不同的表情包來個“時空跨越”。

結(jié)果生成的視頻自帶“PPT轉(zhuǎn)場”效果，有種家里長輩看熊孩子的感覺了（doge）~

Okk，除了整活兒，接下來我們也從時序連貫性、創(chuàng)意合理性、內(nèi)容一致性以及技術(shù)實現(xiàn)難度等維度來進行一個全方位考察。

最常見的用法，當屬各類寫實。

讓我們淺淺模仿一下自然頻道，讓一朵花花慢慢生長出來。

Prompt：特寫鏡頭，讓牡丹花慢慢綻放。

可以看到，整個生長過程相當自然，已經(jīng)是肉眼無法一眼識別為AI的情況了。

而且連首幀圖片中隱藏的蛛網(wǎng)也捕捉到了，在花朵綻放時也被牽動起來。

還有人物寫實，通過提供兩張?zhí)貙懻掌?，我們考察一下Wan2.1對光影這類細節(jié)的把控力。

Prompt：寫實風格，臉部特寫，一個金發(fā)碧眼的小男孩，鏡頭微微左移，記錄他被陰影遮住的側(cè)臉。

顯然，由于兩張圖片前后差距不大，因此稍微不注意可能還以為是靜態(tài)圖像。

而通過細致觀察，我們在視頻靠近結(jié)尾的部分捕捉到了小男孩的脖子和臉上發(fā)生了光照變化。

除此之外，我們也挑戰(zhàn)了曾經(jīng)火爆一時的創(chuàng)意玩法——毒液變身特效。

Prompt：特效大片既視感，穿西裝的男人突然變身成怪獸毒液。

馬斯克版·毒液這就來了：

能夠看出，對于這種內(nèi)容跨度比較大的例子，Wan2.1使用了“遮掩大法”，直接一個閃光特效實現(xiàn)變身。

對此，你說它變了還是沒變，還真難界定~

另外我們也嘗試了其他風格，比如二次元。

Prompt：動漫風格，一個打著雨傘的動漫角色站在雨中，不知道看見什么突然傻笑起來。

可以看到，開頭和結(jié)尾的表情100%還原了，而且中間還上演了“超絕變臉”，一秒鐘八百個小表情（bushi~

同時下雨這個場景也真實還原了，沒有雨滴直接穿過雨傘的“超現(xiàn)實場景”。

，時長00:05

最后，我們也簡單對比了一下Wan2.1和可靈（可靈1.6）的首尾幀生成效果。

同樣兩張圖片和提示詞下，可靈生成的馬斯克版·毒液如下：

雖然老馬的面目略顯猙獰，但好歹是真變身了。

所以，你更pick哪一個呢？

揭秘技術(shù)原理和配置

從以上簡單實測來看，相比早期的一些鬼畜視頻，這次開源的Wan2.1首尾幀視頻模型在主體一致性、前后連貫性等方面已經(jīng)有了相當大的進步。

那么接下來的問題是：怎么做到的？

通過阿里官方發(fā)布的技術(shù)報告，僅從首尾幀控制來看，其得益于在基礎架構(gòu)模型上，引入了額外的條件控制分支。

具體而言，首幀與尾幀同若干零填充的中間幀拼接，構(gòu)成控制視頻序列。該序列進一步與噪聲及掩碼（mask）進行拼接，最終作為擴散變換模型（DiT）的輸入。

此外，為實現(xiàn)畫面穩(wěn)定性控制，通義萬相首尾幀生視頻模型提取了首幀和尾幀的CLIP語義特征，并通過交叉注意力機制（Cross-Attention Mechanism）將其注入到DiT的生成過程中。

憑借這一獨特的模型架構(gòu)，最終實現(xiàn)了流暢且準確的首尾幀變換。

當然，最后大家最關(guān)注的還是配置問題。

以國內(nèi)的魔搭社區(qū)為例，他們目前已在DiffSynth-Studio項目中支持了Wan2.1首尾幀模型。

也就是說，開發(fā)者可以基于DiffSynth-Studio（一個提供全鏈路推理和訓練優(yōu)化的開源工具）實現(xiàn)便捷推理。

值得注意的是，他們還通過某一參數(shù)來控制推理過程中常駐顯存的參數(shù)量。而實際推理過程使用的顯存需求，會與這一參數(shù)、分辨率、幀數(shù)有關(guān)。

他們以81幀960*960分辨率的視頻為例：

• 設置參數(shù)=None時（意味著無常駐參數(shù)限制），需要46G顯存；
• 設置參數(shù)=4*10**9時，需要24G顯存，但推理速度會有所下降；

另外，部分網(wǎng)友也在第一時間分享了自己的配置情況：

我們自己測下來也發(fā)現(xiàn)，僅從官網(wǎng)直接體驗，目前生成一個視頻實際需要幾分鐘甚至十幾分鐘時間。

所以，大家卷質(zhì)量的同時，能不能把時長打下來?。╠oge）~

直接體驗入口：
https://tongyi.aliyun.com/wanxiang/videoCreation

GitHub：
https://github.com/Wan-Video/Wan2.1
模型（魔搭社區(qū)）：
https://www.modelscope.cn/models/Wan-AI/Wan2.1-FLF2V-14B-720P