最近，除了大語(yǔ)言模型繼續(xù)持續(xù)刷屏，視頻生成技術(shù)也取得了重大進(jìn)展，多家公司相繼發(fā)布了新模型。

首先，作為最早探索視頻生成領(lǐng)域的領(lǐng)頭羊之一，Runway 升級(jí)了其 Gen-2 模型，帶來(lái)了電影級(jí)別的高清晰度，令人矚目，并稱視頻生成的一致性得到了重大改進(jìn)。

但是，這種一致性的提升似乎是以犧牲視頻動(dòng)態(tài)性為代價(jià)的。從 Gen-2 的官方宣傳視頻中可以看出，盡管集合了多個(gè)短片段，但每個(gè)片段的動(dòng)態(tài)性相對(duì)較弱，難以捕捉到人物、動(dòng)物或物體的清晰動(dòng)作和運(yùn)動(dòng)。

近期，Meta 也發(fā)布了視頻生成模型 Emu Video。從 Emu Video 的官方示例中可以看出，其視頻的動(dòng)態(tài)性比 Gen-2 有明顯提高，但仍然局限于較為簡(jiǎn)單的動(dòng)作。

開(kāi)發(fā)出了經(jīng)典的文生圖模型 Stable Diffusion 的公司 Stability.ai，也于近日發(fā)布了開(kāi)源視頻生成模型 Stable Video Diffusion (SVD)，引發(fā)了開(kāi)源社區(qū)的大量關(guān)注和討論。SVD 效果能和 Gen-2 相當(dāng)，通過(guò)測(cè)試樣例能看出 SVD 生成的視頻也相對(duì)缺少動(dòng)態(tài)性。

SVD 論文里面提到了目前 SVD 生成的視頻存在動(dòng)態(tài)性不足的情況。

上述示例表明，生成有高度一致性且有豐富動(dòng)態(tài)性的視頻，讓視頻內(nèi)容真正地動(dòng)起來(lái)，是目前視頻生成領(lǐng)域中的最大挑戰(zhàn)。

在這方面，最新的研究成果 PixelDance 邁出了關(guān)鍵性的一步，其生成結(jié)果的動(dòng)態(tài)性顯著優(yōu)于目前現(xiàn)有的其它模型，引起了業(yè)界的關(guān)注。

Twitter知名AI博主@_akhaliq轉(zhuǎn)發(fā)的PixelDance新聞已有近8萬(wàn)瀏覽量。

在官網(wǎng)（https://makepixelsdance.github.io）中，PixelDance 給出了兩種不同的視頻生成模式。

第一種是基礎(chǔ)模式（Basic Mode），用戶只需要提供一張指導(dǎo)圖片+文本描述，PixelDance 就可以生成有高度一致性且有豐富動(dòng)態(tài)性的視頻，其中指導(dǎo)圖片可以是真實(shí)圖片，也可以利用現(xiàn)有的文生圖模型生成。

從展示的結(jié)果來(lái)看，真實(shí)風(fēng)格、動(dòng)畫風(fēng)格、二次元風(fēng)格、魔幻風(fēng)格，PixelDance 通通都可以解決，人物動(dòng)作、臉部表情、相機(jī)視角控制、特效動(dòng)作，Pixeldance 也都可以很好的完成。只能說(shuō)一句 tql！

第二種是高級(jí)魔法模式（Magic Mode），給了用戶更多發(fā)揮想象力和創(chuàng)造力的空間。在這種模式下，用戶需要提供兩張指導(dǎo)圖片+文本描述，可以更好地生成更有難度的視頻內(nèi)容。網(wǎng)站中展示了用魔法模式做出的各種炫酷特效鏡頭。

除此之外，官網(wǎng)還展示了完全使用 PixelDance 制作的 3 分鐘故事短片：

非常震撼的一點(diǎn)是，使用 PixelDance 能按照用戶預(yù)想的一個(gè)故事，制作每一個(gè)場(chǎng)景和對(duì)應(yīng)的動(dòng)作。不管是真實(shí)場(chǎng)景（如埃及、長(zhǎng)城等），還是虛幻場(chǎng)景（如外星球），PixelDance 都能生成細(xì)節(jié)豐富、動(dòng)作豐富的視頻，甚至各種特效鏡頭也不在話下。

并且，主人公北極熊先生的黑色禮帽和紅色領(lǐng)結(jié)形象，在不同的場(chǎng)景中都得到了很好的保持。長(zhǎng)視頻生成再也不是簡(jiǎn)單的拼湊弱相關(guān)的短視頻片段了！

而達(dá)到這樣拔群的視頻生成效果，并沒(méi)有依賴復(fù)雜的數(shù)據(jù)集和大規(guī)模的模型訓(xùn)練，PixelDance 在公開(kāi)的 WebVid-10M 數(shù)據(jù)集上僅用 1.5B 大小的模型就達(dá)到了上述效果。

論文地址：https://arxiv.org/abs/2311.10982

demo 地址：https://makepixelsdance.github.io

在相應(yīng)的論文《Make Pixels Dance: High-Dynamic Video Generation》中，作者指出了視頻生成難以做出好效果的原因：相比于圖片生成，視頻生成具有特征空間顯著更大、動(dòng)作多樣性顯著更強(qiáng)的特點(diǎn)。這就導(dǎo)致了現(xiàn)有的視頻生成方法難以學(xué)到有效的時(shí)域動(dòng)作信息，生成的視頻雖然圖片質(zhì)量較高，但動(dòng)態(tài)性非常有限。

針對(duì)上述問(wèn)題，PixelDance 提出了基于文本指導(dǎo) + 首尾幀圖片指導(dǎo)的視頻生成方法，使得模型更充分地關(guān)注和學(xué)習(xí)視頻的動(dòng)態(tài)信息。

其中，首幀圖片指導(dǎo)為整個(gè)視頻內(nèi)容提供了框架和素材。此外，通過(guò)將上一個(gè)視頻片段的尾幀拿來(lái)作為下一個(gè)視頻片段的首幀指導(dǎo)，可以生成更長(zhǎng)的視頻。文本描述提供了對(duì)視頻動(dòng)作的描述。尾幀圖片指導(dǎo)為視頻生成過(guò)程提供了結(jié)束狀態(tài)的信息。作者提出了適配的方法，使得模型能接收比較粗糙的圖片作為指導(dǎo)，這使得用戶可以使用基本的圖片編輯工具獲得尾幀圖片指導(dǎo)。

官網(wǎng)的信息顯示，目前還在積極地迭代模型效果中，未來(lái) 2-3 個(gè)月內(nèi)就會(huì)放出人人可以試用的模型。目前，作者也提供了途徑支持大家發(fā)送想要測(cè)試的樣例，目前官網(wǎng)中已經(jīng)放出了一些用戶的測(cè)試樣例：

如此看來(lái)，有了 PixelDance，只要有天馬行空的想象力，人人都可以成為「百萬(wàn)特效大師」！