用智能 開啟無限可能丨酷炫十足的AI短片,如何煉成(上)
巴黎奧運(yùn)會(huì)期間,一條《奧運(yùn)熊貓奇幻之旅》的短片刷爆了大家的朋友圈,可愛的中國(guó)熊貓,在一場(chǎng)夢(mèng)境中參加了各種奧運(yùn)賽事:打乒乓球、擊劍、游泳、舉重,每一幀場(chǎng)景的還原度十分逼真,贏得了大家瘋狂的轉(zhuǎn)發(fā)和點(diǎn)贊。
這個(gè)短片的廣泛流傳,也讓更多的人注意到AI短片創(chuàng)作達(dá)人溫維斯。
從事AI視頻創(chuàng)作以來,除了和人民日?qǐng)?bào)、快手可靈共創(chuàng)了《熊貓奧運(yùn)奇幻之旅》,溫維斯先后還分別與央視財(cái)經(jīng)和新華社共創(chuàng)了《中秋C位美食已就位》《穿越時(shí)空之旅系列》《赤心》等AI 視頻,得到了業(yè)界的一致認(rèn)可。
那么,第一次科幻題材的創(chuàng)作再到人民日?qǐng)?bào)報(bào)道的“熊貓奧運(yùn)奇幻之旅”,溫維斯在AI短片創(chuàng)作的成長(zhǎng)道路上是如何“打怪升級(jí)”的呢?
2024年年初,我開始持續(xù)進(jìn)行AI短片的創(chuàng)作,這是一個(gè)新的挑戰(zhàn)。當(dāng)時(shí),自己作為AIGC產(chǎn)品經(jīng)理,出于自己的工作性質(zhì),對(duì)于AIGC工具的捕捉同樣十分重要,什么工具好用,什么工具能夠極大提效,自己需要非常清楚。
第一次制作AI短片,我就選擇了極富感染力的科幻題材,因?yàn)楹芟矚g科幻電影,所有做了這樣的嘗試,當(dāng)時(shí)的創(chuàng)作過程的確有遇到不少困難。
首先是劇本、腳本的創(chuàng)作,是此前從來沒有嘗試過的。我需要通過不斷的與ChatGPT交流,讓GPT進(jìn)行劇本的潤(rùn)色與腳本的編輯。
另一方面,當(dāng)時(shí)市面上還沒有涌現(xiàn)出效果特別好用的AI工具,為了生成令自己滿意的素材,最后不得不在彼時(shí)本就不多的視頻工具間不停地選擇切換,例如Dreamina、Pixverse、Pika、Haiper、Runway,不過也正是因?yàn)檫@些創(chuàng)作工具,讓我快速打開了AI創(chuàng)作的大門。
圖源:熊貓奧運(yùn)奇幻之旅
不過隨著素材的不斷增多,大量的圖片、視頻素材數(shù)據(jù)堆積在電腦里。1分多鐘的短片,平均3s一個(gè)鏡頭,最少也有20個(gè)鏡頭,每個(gè)鏡頭20m,高清后120m,可能就能夠達(dá)到2G多。
當(dāng)素材非常多的時(shí)候整個(gè)視頻剪輯軟件就會(huì)變得非常卡頓,非常影響效率。這時(shí)候非常需要一個(gè)處理速度快,內(nèi)容大,顯存大的電腦!
值得一提的是,這個(gè)作品同時(shí)也是參賽作品,自己還為短片進(jìn)行了視頻超清處理。這里也有一個(gè)令人頭疼的問題,一個(gè)5秒短片視頻超清需要花費(fèi)15-20分鐘。
最后,還需要為短片中人物進(jìn)行配音,同樣是AI工具完成的。
今年夏天,巴黎奧運(yùn)會(huì)期間,同時(shí)非常幸運(yùn)地與可靈AI、人民日?qǐng)?bào)、德里克文老師一起共創(chuàng)了奧運(yùn)AI短片《熊貓奧運(yùn)奇幻之旅》。
圖源:《熊貓奧運(yùn)奇幻之旅》
這次短片創(chuàng)作涉及到多方參與合作,需要大家多次溝通確認(rèn)。僅僅是短片風(fēng)格問題,團(tuán)隊(duì)們就先后提出了不同的看法。從寫實(shí)風(fēng)格、動(dòng)漫風(fēng)格,再到首尾幀技術(shù)實(shí)現(xiàn),最后到擬人化風(fēng)格,短片前前后后我們調(diào)整了3個(gè)版本,最終選擇了可愛的寫實(shí)熊貓風(fēng)。
AI時(shí)代為短視頻創(chuàng)作帶來前所未有的效率和想象空間,同時(shí)也形成了一套非常獨(dú)特的創(chuàng)作棧。挑選創(chuàng)作工具的難點(diǎn)有不少,例如:這款工具如何確保作品生成過程的可控性、如何進(jìn)行精細(xì)化的定制,如何確保前端界面與后端模型的直觀交互,如何確保圖片創(chuàng)作環(huán)境的穩(wěn)定性,如何提升出圖效率等等。
那么,炫酷的短片究竟是怎樣通過這些工具“煉”出來的呢?工欲善其事必先利其器。這里就必須重點(diǎn)提到了三款A(yù)I神器:ComfyUI,SD-WebUI、Midjourney。
ComfyUI這款工具的獨(dú)特之處在于,提供了基于節(jié)點(diǎn)工作流穩(wěn)定擴(kuò)散算法的圖形界面,通過將穩(wěn)定擴(kuò)散的流程巧妙分解成各個(gè)節(jié)點(diǎn),可以成功實(shí)現(xiàn)工作流的精準(zhǔn)定制和可靠復(fù)現(xiàn)。這一點(diǎn)非常關(guān)鍵。
用惠普Z系列移動(dòng)工作站ComfyUI復(fù)現(xiàn)短片《點(diǎn)亮》,工作效率非常高,完全意想不到的效果!
通過ComfyUI的工作流編排,我們可以做到每一幀前后的連貫一致性。
使用惠普Z系列移動(dòng)工作站進(jìn)行ComfyUI工作流編排
然而需要注意的是,ComfyUI需要?jiǎng)?chuàng)作設(shè)備的計(jì)算能力得足夠強(qiáng)悍,傳統(tǒng)設(shè)備的硬件在高負(fù)荷下容易崩潰,完成效率不會(huì)很高。
而與ComfyUI不同,另一款神器SD-WebUI,則勝在直觀的操作體驗(yàn)界面。SD-WebUI是為Stable Difussion模型開發(fā)設(shè)計(jì)的可視化瀏覽器界面操作平臺(tái),用戶即使不具備編程知識(shí)或高級(jí)技術(shù),也能通過直觀的前端交互輕松使用模型功能。此外,還能通過裝載不同的插件和模型以滿足定制化需求,從而創(chuàng)造出更為可控的視覺作品。
我經(jīng)常用它來進(jìn)行AI換臉、瞬息全宇宙特效的制作,非常好用。可惜的是,SD-WebUI有一個(gè)硬傷:運(yùn)行時(shí),它經(jīng)常會(huì)占用系統(tǒng)內(nèi)存和GPU。
具體到AI繪畫軟件,我目前使用頻次最多的Midjourney,也是我入門AI繪畫的第一款繪畫軟件。
雖然Midjourney出圖很快,圖片效果也很好,但不足之處在于Midjourney運(yùn)行在電腦的瀏覽器中,一旦打開多個(gè)頁面,瀏覽器就會(huì)卡頓甚至崩潰卡死的情況。
不過,AI視頻制作的局限性不僅源于工具,也與電腦設(shè)備有關(guān)。合適的硬件對(duì)高質(zhì)量視頻創(chuàng)作很重要,尤其需關(guān)注以下方面:
1.硬件性能:重點(diǎn)是CPU/GPU、內(nèi)存和存儲(chǔ)容量,是工具流暢運(yùn)行的必要條件,傳統(tǒng)設(shè)備在高負(fù)荷下易崩潰。內(nèi)存和存儲(chǔ)常被初學(xué)者忽略,如高質(zhì)量短片編輯渲染需大量?jī)?nèi)存,低內(nèi)存會(huì)使處理速度慢,5秒片段可能需等30分鐘;5秒AI高清視頻可達(dá)300M,100個(gè)鏡頭的短片可能需30G容量。
2.軟件優(yōu)化:不同軟件和插件可能存在兼容性問題,影響工作流程;長(zhǎng)時(shí)間渲染或編輯時(shí)傳統(tǒng)設(shè)備易發(fā)燙,軟件穩(wěn)定性影響效率;部分視頻編輯軟件在高負(fù)荷下性能優(yōu)化不足,導(dǎo)致卡頓或崩潰。
3.工作流效率:AI短片創(chuàng)作常需并行處理多任務(wù)。
4.跨設(shè)備數(shù)據(jù)傳輸:團(tuán)隊(duì)協(xié)作時(shí)不同設(shè)備間數(shù)據(jù)傳輸和同步效率低,影響工作進(jìn)度。
因此,經(jīng)過多重考慮,我最后選擇嘗試在惠普Z系列移動(dòng)工作站HP ZBook Fury 16 G11,使用上述這些工具,再次創(chuàng)作一遍。他發(fā)現(xiàn)對(duì)于一款高配的創(chuàng)作設(shè)備而言,對(duì)于諸如高內(nèi)存、GPU計(jì)算資源的占用、瀏覽器卡頓崩潰的問題的擔(dān)心,完全沒有必要了。“從渲染視頻,到使用WebUI,最后到剪輯,都沒有出現(xiàn)過一次卡死的情況,打開幾十個(gè)Midjourney頁面完全不用擔(dān)心。”
我手里這臺(tái)ZBook Fury G11 移動(dòng)工作站讓我做AI創(chuàng)作的道路上如虎添翼。它搭載第 13 代英特爾 酷睿i9處理器的英特爾博銳平臺(tái),同時(shí)適配了5000 Ada GPU,32G的RAM和2T的存儲(chǔ)空間,同時(shí)還兼容了市面上主流的視頻編輯和特效制作軟件,而且還具有21000+ISV 軟件的組合認(rèn)證,可以運(yùn)行各類工具,性能拉滿的同時(shí)安全感也是滿滿。可以說,這款工作站是對(duì)于處理復(fù)雜的AI短片而生的。
溫維斯Wenvis是如何用惠普Z系列移動(dòng)工作站HP ZBook Fury G11復(fù)現(xiàn)《熊貓奧運(yùn)奇幻之旅》AI短片“神”場(chǎng)景?
敬請(qǐng)期待下一期《用智能 開啟無限可能丨酷炫十足的AI短片,如何煉成(下)》