生成視頻如此簡單，給句提示就行，還能在線試玩
你輸入文字，讓 AI 來生成視頻，這種想法在以前只出現(xiàn)在人們的想象中，現(xiàn)在，隨著技術的發(fā)展，這種功能已經實現(xiàn)了。
近年來，生成式人工智能在計算機視覺領域引起巨大的關注。隨著擴散模型的出現(xiàn)，從文本 Prompt 生成高質量圖像，即文本到圖像的合成，已經變得非常流行和成功。
最近的研究試圖通過在視頻領域復用文本到圖像擴散模型，將其成功擴展到文本到視頻生成和編輯的任務。雖然這樣的方法取得了可喜的成果，但大部分方法需要使用大量標記數(shù)據進行大量訓練，這可能對許多用戶來講太過昂貴。
為了使視頻生成更加廉價，Jay Zhangjie Wu 等人去年提出的 Tune-A-Video 引入了一種機制，可以將 Stable Diffusion (SD) 模型應用到視頻領域。只需要調整一個視頻，從而讓訓練工作量大大減少。雖然這比以前的方法效率提升很多，但仍需要進行優(yōu)化。此外，Tune-A-Video 的生成能力僅限于 text-guided 的視頻編輯應用，而從頭開始合成視頻仍然超出了它的能力范圍。
本文中，來自 Picsart AI Resarch (PAIR) 、得克薩斯大學奧斯汀分校等機構的研究者在 zero-shot 以及無需訓練的情況下，在文本到視頻合成的新問題方向上向前邁進了一步，即無需任何優(yōu)化或微調的情況下根據文本提示生成視頻。
- 論文地址：https://arxiv.org/pdf/2303.13439.pdf
- 項目地址：https://github.com/Picsart-AI-Research/Text2Video-Zero
- 試用地址：https://huggingface.co/spaces/PAIR/Text2Video-Zero
下面我們看看效果如何。例如一只熊貓在沖浪；一只熊在時代廣場上跳舞：
該研究還能根據目標生成動作：
此外，還能進行邊緣檢測：
本文提出的方法的一個關鍵概念是修改預訓練的文本到圖像模型（例如 Stable Diffusion），通過時間一致的生成來豐富它。通過建立在已經訓練好的文本到圖像模型的基礎上，本文的方法利用它們出色的圖像生成質量，增強了它們在視頻領域的適用性，而無需進行額外的訓練。
為了加強時間一致性，本文提出兩個創(chuàng)新修改：（1）首先用運動信息豐富生成幀的潛在編碼，以保持全局場景和背景時間一致；(2) 然后使用跨幀注意力機制來保留整個序列中前景對象的上下文、外觀和身份。實驗表明，這些簡單的修改可以生成高質量和時間一致的視頻（如圖 1 所示）。
盡管其他人的工作是在大規(guī)模視頻數(shù)據上進行訓練，但本文的方法實現(xiàn)了相似甚至有時更好的性能（如圖 8、9 所示）。
本文的方法不僅限于文本到視頻的合成，還適用于有條件的（見圖 6、5）和專門的視頻生成（見圖 7），以及 instruction-guided 的視頻編輯，可以稱其為由 Instruct-Pix2Pix 驅動的 Video Instruct-Pix2Pix（見圖 9）。
在這篇論文中，本文利用 Stable Diffusion （SD）的文本到圖像合成能力來處理 zero-shot 情況下文本到視頻的任務。由于需要生成視頻而不是圖像，SD 應該在潛在代碼序列上進行操作。樸素的方法是從標準高斯分布獨立采樣 m 個潛在代碼，即
N (0, I) ，并應用 DDIM 采樣以獲得相應的張量
，其中 k = 1，…，m，然后解碼以獲得生成的視頻序列 
為了解決這個問題，本文建議采用以下兩種方法：（i）在潛在編碼 
注意，為了簡化符號，本文將整個潛在代碼序列表示為：
實驗
定性結果
Text2Video-Zero 的所有應用都表明它成功生成了視頻，其中全局場景和背景具有時間一致性，前景對象的上下文、外觀和身份在整個序列中得到了保持。
在文本轉視頻的情況下，可以觀察到它生成與文本提示良好對齊的高質量視頻（見圖 3）。例如，繪制的熊貓可以自然地在街上行走。同樣，使用額外的邊緣或姿勢指導 (見圖 5、圖 6 和圖 7)，生成了與 Prompt 和指導相匹配的高質量視頻，顯示出良好的時間一致性和身份保持。
在 Video Instruct-Pix2Pix（見圖 1）的情況下，生成的視頻相對于輸入視頻具有高保真，同時嚴格遵循指令。
與 Baseline 比較
本文將其方法與兩個公開可用的 baseline 進行比較：CogVideo 和 Tune-A-Video。由于 CogVideo 是一種文本到視頻的方法，本文在純文本引導的視頻合成場景中與它進行了比較；使用 Video Instruct-Pix2Pix 與 Tune-A-Video 進行比較。
為了進行定量對比，本文使用 CLIP 分數(shù)對模型評估，CLIP 分數(shù)表示視頻文本對齊程度。通過隨機獲取 CogVideo 生成的 25 個視頻，并根據本文的方法使用相同的提示合成相應的視頻。本文的方法和 CogVideo 的 CLIP 分數(shù)分別為 31.19 和 29.63。因此，本文的方法略優(yōu)于 CogVideo，盡管后者有 94 億個參數(shù)并且需要對視頻進行大規(guī)模訓練。
圖 8 展示了本文提出的方法的幾個結果，并提供了與 CogVideo 的定性比較。這兩種方法在整個序列中都顯示出良好的時間一致性，保留了對象的身份以及背景。本文的方法顯示出更好的文本 - 視頻對齊能力。例如，本文的方法在圖 8 (b) 中正確生成了一個人在陽光下騎自行車的視頻，而 CogVideo 將背景設置為月光。同樣在圖 8 (a) 中，本文的方法正確地顯示了一個人在雪地里奔跑，而 CogVideo 生成的視頻中雪地和奔跑的人是看不清楚的。
Video Instruct-Pix2Pix 的定性結果以及與 per-frame Instruct-Pix2Pix 和 Tune-AVideo 在視覺上的比較如圖 9 所示。雖然 Instruct-Pix2Pix 每幀顯示出良好的編輯性能，但它缺乏時間一致性。這在描繪滑雪者的視頻中尤其明顯，視頻中的雪和天空使用不同的樣式和顏色繪制。使用 Video Instruct-Pix2Pix 方法解決了這些問題，從而在整個序列中實現(xiàn)了時間上一致的視頻編輯。
雖然 Tune-A-Video 創(chuàng)建了時間一致的視頻生成，但與本文的方法相比，它與指令指導的一致性較差，難以創(chuàng)建本地編輯，并丟失了輸入序列的細節(jié)。當看到圖 9 左側中描繪的舞者視頻的編輯時，這一點變得顯而易見。與 Tune-A-Video 相比，本文的方法將整件衣服畫得更亮，同時更好地保留了背景，例如舞者身后的墻幾乎保持不變。Tune-A-Video 繪制了一堵經過嚴重變形的墻。此外，本文的方法更忠實于輸入細節(jié)，例如，與 Tune-A-Video 相比，Video Instruction-Pix2Pix 使用所提供的姿勢繪制舞者（圖 9 左），并顯示輸入視頻中出現(xiàn)的所有滑雪人員（如圖 9 右側的最后一幀所示）。Tune-A-Video 的所有上述弱點也可以在圖 23、24 中觀察到。
