隨著擴(kuò)散模型的發(fā)展，基于輸入文本生成高質(zhì)量的圖片和視頻已經(jīng)成為現(xiàn)實(shí)，但是僅使用文本生成視覺(jué)內(nèi)容的可控性有限。

為了克服這個(gè)問(wèn)題，研究人員們開(kāi)始探索額外的控制信號(hào)和對(duì)現(xiàn)有內(nèi)容進(jìn)行編輯的方法。這兩個(gè)方向在一定程度上實(shí)現(xiàn)了生成過(guò)程的可控性，但仍然需要依賴(lài)文本來(lái)描述目標(biāo)生成內(nèi)容。

在實(shí)際應(yīng)用中，我們面臨著一個(gè)新的需求：如果用戶(hù)想要生成的內(nèi)容無(wú)法用語(yǔ)言描述呢？

例如，用戶(hù)想生成某一個(gè)普通人的視頻，但僅在輸入文本中使用普通人的名字是無(wú)意義的，因?yàn)檎Z(yǔ)言模型無(wú)法識(shí)別不在訓(xùn)練語(yǔ)料中的個(gè)體姓名。

針對(duì)這個(gè)問(wèn)題，一種可行的解決方案是基于給定個(gè)體訓(xùn)練個(gè)性化的模型。

例如，DreamBooth和Dreamix通過(guò)多張圖片理解個(gè)體概念，從而進(jìn)行個(gè)性化的內(nèi)容生成，不過(guò)這兩種方法需要對(duì)每個(gè)個(gè)體分別進(jìn)行學(xué)習(xí)，并且需要該個(gè)體的多張訓(xùn)練圖片和精細(xì)化調(diào)參。

最近，來(lái)自新加坡國(guó)立大學(xué)（NUS）和華為諾亞實(shí)驗(yàn)室的研究者們?cè)趥€(gè)性化視頻編輯上取得了新的進(jìn)展，通過(guò)多個(gè)集成模型的協(xié)同工作，無(wú)需對(duì)個(gè)性化概念進(jìn)行額外的訓(xùn)練和微調(diào)，僅僅需要一張目標(biāo)參考圖片，就能實(shí)現(xiàn)對(duì)已有視頻的主角替換、背景替換以及特定主角的文生視頻。

項(xiàng)目主頁(yè)：https://make-a-protagonist.github.io/

論文地址：https://arxiv.org/pdf/2305.08850.pdf

代碼地址：https://github.com/Make-A-Protagonist/Make-A-Protagonist

這項(xiàng)研究為個(gè)性化視頻編輯領(lǐng)域帶來(lái)了新的可能性，使得生成個(gè)性化內(nèi)容變得更加簡(jiǎn)便和高效。

介紹

Make-A-Protagonist將視頻分為主角和背景，對(duì)二者使用視覺(jué)或語(yǔ)言參考信息，從而實(shí)現(xiàn)主角編輯、背景編輯和特定主角的文生視頻。

主角編輯功能允許用戶(hù)使用相同的場(chǎng)景描述，但通過(guò)參考圖像來(lái)替換視頻中的主角。這意味著用戶(hù)可以使用自己選擇的圖像來(lái)替換視頻中的主要角色。

背景編輯功能允許用戶(hù)使用與原始視頻相同的主角描述（例「Suzuki Jimny」），并使用原始視頻幀作為視覺(jué)信息，但可以更改對(duì)場(chǎng)景的文字描述（例如「in the rain」）。這樣，用戶(hù)可以保持相同的主角，但改變場(chǎng)景的描述，營(yíng)造出不同的視覺(jué)效果。

特定主角的文生視頻功能將主角編輯和背景編輯結(jié)合起來(lái)。用戶(hù)可以使用參考圖像作為主角，并對(duì)場(chǎng)景進(jìn)行描述，從而創(chuàng)造出全新的視頻內(nèi)容。此外，對(duì)于多主角視頻，Make-A-Protagonist還可以對(duì)單個(gè)或多個(gè)角色進(jìn)行更改。

與DreamBooth和Dreamix不同，Make-A-Protagonist僅需要單張參考圖像，不需要對(duì)每個(gè)概念進(jìn)行微調(diào)，因此在應(yīng)用場(chǎng)景上更加靈活多樣。Make-A-Protagonist為用戶(hù)提供了一種簡(jiǎn)便而高效的方式來(lái)實(shí)現(xiàn)個(gè)性化的視頻編輯和生成。

方法

Make-A-Protagonist使用多個(gè)強(qiáng)大的專(zhuān)家模型，對(duì)原視頻、視覺(jué)和語(yǔ)言信息進(jìn)行解析，并結(jié)合基于視覺(jué)語(yǔ)言的視頻生成模型和基于掩碼的去噪采樣算法，實(shí)現(xiàn)通用視頻編輯。該模型主要由三個(gè)關(guān)鍵部分組成：原視頻解析，視覺(jué)和語(yǔ)言信息解析，以及視頻生成。

具體來(lái)說(shuō)，Make-A-Protagonist推理過(guò)程包括以下三步：首先使用BLIP-2, GroundingDINO、Segment Anything 和 XMem等模型對(duì)原視頻進(jìn)行解析，獲得視頻的主角掩碼，并解析原視頻的控制信號(hào)。

接下來(lái)，使用CLIP和DALL-E 2 Prior對(duì)視覺(jué)和語(yǔ)言信息進(jìn)行解析。最后，使用基于視覺(jué)語(yǔ)言的視頻生成模型和基于掩碼的去噪采樣算法，利用解析信息生成新的內(nèi)容。

Make-A-Protagonist的創(chuàng)新之處在于引入了基于視覺(jué)語(yǔ)言的視頻生成模型和基于掩碼的去噪采樣算法，通過(guò)整合多個(gè)專(zhuān)家模型并解析、融合多種信息，實(shí)現(xiàn)了視頻編輯的突破。

這些模型的運(yùn)用使得該系統(tǒng)更加精準(zhǔn)地理解原視頻、視覺(jué)和語(yǔ)言信息，并能夠生成高質(zhì)量的視頻內(nèi)容。

Make-A-Protagonist為用戶(hù)提供了一款強(qiáng)大而靈活的工具，讓他們能夠輕松進(jìn)行通用的視頻編輯，創(chuàng)作出獨(dú)特而令人驚艷的視覺(jué)作品。

1. 原視頻解析

原視頻解析的目標(biāo)是獲取原視頻的語(yǔ)言描述（caption）、主角文字描述、主角分割結(jié)果以及ControlNet所需的控制信號(hào)。

針對(duì)caption和主角文字描述，Make-A-Protagonist采用了BLIP-2模型。

通過(guò)對(duì)BLIP-2的圖像網(wǎng)絡(luò)進(jìn)行修改，實(shí)現(xiàn)了對(duì)視頻的解析，并使用captioning模式生成視頻的描述，這些描述在訓(xùn)練和視頻編輯中用于視頻生成網(wǎng)絡(luò)。

對(duì)于主角文字描述，Make-A-Protagonist使用VQA模式，提出問(wèn)題：「視頻的主角是什么？」并使用答案進(jìn)一步解析原視頻中的主角信息。

在原視頻中的主角分割方面，Make-A-Protagonist利用上述得到的主角文字描述，在第一幀中使用GroundingDINO模型來(lái)定位相應(yīng)的檢測(cè)內(nèi)容，并使用Segment Anything模型獲得第一幀的分割掩碼。然后，借助跟蹤網(wǎng)絡(luò)（XMem），Make-A-Protagonist得到整個(gè)視頻序列的分割結(jié)果。

除此之外，Make-A-Protagonist利用ControlNet來(lái)保留原視頻的細(xì)節(jié)和動(dòng)作，因此需要提取原視頻的控制信號(hào)。文中使用了深度信號(hào)和姿態(tài)信號(hào)。

通過(guò)這些創(chuàng)新的解析方法和技術(shù)，Make-A-Protagonist能夠準(zhǔn)確地解析原視頻的語(yǔ)言描述、主角信息和分割結(jié)果，并提取控制信號(hào)，為后續(xù)的視頻生成和編輯打下了堅(jiān)實(shí)的基礎(chǔ)。

2. 視覺(jué)和語(yǔ)言信息解析

對(duì)于視覺(jué)信號(hào)，Make-A-Protagonist在本文中采用CLIP image embedding作為生成條件，為了去除參考圖像背景的影響，類(lèi)似于原視頻解析，Make-A-Protagonist使用GroundingDINO和Segment Anything得到參考圖像主角的分割掩碼，使用掩碼將分割后的圖像輸入CLIP視覺(jué)模型，以獲取參考視覺(jué)信息。

語(yǔ)言信息主要用于控制背景，本文將語(yǔ)言信息用于兩方面，一方面使用CLIP語(yǔ)言模型提取特征，作為注意力網(wǎng)絡(luò)的key和value。

另一方面，使用DALL-E 2 Prior網(wǎng)絡(luò)，將語(yǔ)言特征轉(zhuǎn)化為視覺(jué)特征，從而增強(qiáng)表征能力。

3. 視頻生成

3.1 視頻生成網(wǎng)絡(luò)訓(xùn)練

為了充分利用視覺(jué)信息，Make-A-Protagonist使用Stable UnCLIP作為預(yù)訓(xùn)練模型，并對(duì)原視頻進(jìn)行微調(diào)，從而實(shí)現(xiàn)利用視覺(jué)信息進(jìn)行視頻生成。

在每個(gè)訓(xùn)練迭代中，Make-A-Protagonist提取視頻中隨機(jī)一幀的CLIP image embedding，將其作為視覺(jué)信息輸入到Residual block中。

3.2 基于掩碼的去噪采樣

為融合視覺(jué)信息和語(yǔ)言信息，本文提出基于掩碼的去噪采樣，在特征空間和隱空間對(duì)兩種信息進(jìn)行融合。

具體來(lái)說(shuō)，在特征域，Make-A-Protagonist使用原視頻的主角掩碼，將主角對(duì)應(yīng)部分使用視覺(jué)信息，背景對(duì)應(yīng)部分使用DALL-E 2 Prior轉(zhuǎn)化后的語(yǔ)言信息：

在隱空間中，Make-A-Protagonist將僅使用視覺(jué)信息的推理結(jié)果和經(jīng)過(guò)特征融合的推理結(jié)果按照原視頻的主角掩碼進(jìn)行融合：

通過(guò)特征空間和隱空間的信息融合，生成的結(jié)果更加真實(shí)，并且與視覺(jué)語(yǔ)言表述更加一致。

總結(jié)

Make-A-Protagonist引領(lǐng)了一種全新的視頻編輯框架，充分利用了視覺(jué)和語(yǔ)言信息。

該框架為實(shí)現(xiàn)對(duì)視覺(jué)和語(yǔ)言的獨(dú)立編輯提供了解決方案，通過(guò)多個(gè)專(zhuān)家網(wǎng)絡(luò)對(duì)原視頻、視覺(jué)和語(yǔ)言信息進(jìn)行解析，并采用視頻生成網(wǎng)絡(luò)和基于掩碼的采樣策略將這些信息融合在一起。

Make-A-Protagonist展現(xiàn)了出色的視頻編輯能力，可廣泛應(yīng)用于主角編輯、背景編輯和特定主角的文生視頻任務(wù)。

Make-A-Protagonist的出現(xiàn)為視頻編輯領(lǐng)域帶來(lái)了新的可能性。它為用戶(hù)創(chuàng)造了一個(gè)靈活且創(chuàng)新的工具，讓他們能夠以前所未有的方式編輯和塑造視頻內(nèi)容。

無(wú)論是專(zhuān)業(yè)編輯人員還是創(chuàng)意愛(ài)好者，都能夠通過(guò)Make-A-Protagonist打造出獨(dú)特而精彩的視覺(jué)作品。

參考資料：

https://make-a-protagonist.github.io/