今年 2 月份，OpenAI 發(fā)布了人工智能文生視頻大模型 Sora，并放出了第一批視頻片段，掀起了 AI 生成視頻浪潮。目前，Sora 仍未進行公測，只有一些視覺藝術(shù)家、設(shè)計師、電影制作人等獲得了 Sora 的訪問權(quán)限。他們發(fā)布了一些 Sora 生成的視頻短片，其連貫、逼真的生成效果令人驚艷。

最近，被譽為「朋克搖滾皮克斯」的加拿大多媒體制作公司 Shy Kids 發(fā)布了一段借助 Sora 制作的視頻短片《Air Head》，在社交媒體上迅速引起廣泛關(guān)注。

據(jù)悉，這部制作精美的短片主要由 3 個人完成，花費不到 2 周的時間。其中，Sidney Leeder 擔(dān)任制片人，Walter Woodman 擔(dān)任編劇和導(dǎo)演，而 Patrick Cederberg 負(fù)責(zé)后期制作。

本周，知名視覺特效總監(jiān) Mike Seymour 采訪了 Patrick Cederberg，就《Air Head》制作過程、技術(shù)難點等信息展開了提問，并在 fxguide 上發(fā)布一篇文章介紹了 Sora 在視頻實際制作過程中發(fā)揮的作用和存在的問題。

Patrick Cederberg

其中，Patrick 表示：「Sora 是一款非常強大的工具，我們已經(jīng)在思考如何把它融入現(xiàn)有電影制作流程中，但目前 Sora 仍處于測試階段，在影片制作過程中也會『翻車』。例如，氣球的顏色在每次生成中都會改變、鏡頭中會出現(xiàn)一些瑕疵等等，要想獲得最佳表現(xiàn)效果，仍需大量后期制作?！?/span>

AI 生成視頻并非僅僅是圖像生成器的進階版。更準(zhǔn)確地說，它們可能是我們向通用人工智能（AGI) 邁出的重要一步。但正如 Sora 開發(fā)團隊本周接受采訪時所說的，當(dāng)前的 AI 視頻模型仍處于早期階段。

OpenAI 研究科學(xué)家，Sora 項目領(lǐng)導(dǎo)者 Tim Brooks 表示：我覺得現(xiàn)在 Sora 位置，就像是視覺模型新范式的 GPT-1 階段。

《Air Head》是如何完成的？機器之心對 Mike Seymour 的文章進行了不改變原意的編譯、整理，以下是該文章原文：

用戶界面（UI）

Sora 的用戶界面允許用戶輸入一段文本 prompt，然后 ChatGPT 將其轉(zhuǎn)換為一個更長的字符串，再觸發(fā)視頻片段的生成。目前，沒有其他輸入方式 —— 還沒有實現(xiàn)多模態(tài)輸入。這一點很重要，因為盡管 Sora 因其生成結(jié)果中的對象一致性而受到稱贊，但目前還沒有任何方法來幫助匹配兩個鏡頭（即兩次生成）的內(nèi)容。即使第二次運行相同的 prompt，生成結(jié)果也會不同。

Patrick 介紹說：「我們盡可能做到的是在我們的 prompt 中給出超級詳細(xì)的描述，例如解釋角色的服裝、氣球的類型。這是我們獲得一致性的方法。從一個鏡頭到另一個鏡頭 / 一次生成到下一次生成，還沒有完全控制一致性的方法。」

單個視頻片段的確可以展現(xiàn) Sora 令人驚嘆的技術(shù)，但使用這些片段取決于你對隱式或顯式鏡頭生成的理解。

假設(shè)你要求 Sora 在廚房里進行一個長鏡頭跟蹤拍攝，桌子上有一個香蕉。在這種情況下，它將依賴其對「香蕉屬性」的隱式理解來生成一個展示香蕉的視頻。通過訓(xùn)練，Sora 已經(jīng)學(xué)習(xí)了一些香蕉屬性：比如「黃色」、「彎曲」、「有深色的末端」等等。沒有香蕉的實際記錄圖像。沒有「香蕉數(shù)據(jù)庫」，而是有一個更小的、壓縮的、隱藏的「潛在空間」，描述了香蕉是什么，每次運行都會展示對潛在空間的一種新解釋。你的 prompt 依賴于對香蕉屬性的隱式理解。

制作角色

為了制作《Air Head》，團隊根據(jù)大致的劇本生成了多個視頻片段，但是沒有明確的方式來確保黃色氣球頭在每個鏡頭中都保持相同。有時，當(dāng) prompt 要一個黃色氣球時，生成結(jié)果甚至可能不是黃色的。有時，氣球上可能嵌入了一張臉，或者似乎在氣球的正面畫了一張臉。由于現(xiàn)實生活中許多氣球都有繩子，因此生成結(jié)果中稱為 Sonny 的氣球人經(jīng)常會在衣服前襟處有一根繩子。這是因為 Sora 隱式地將繩子與氣球聯(lián)系起來，因此在后期制作中這些需要被移除。

分辨率

《Air Head》只使用了 Sora 生成的鏡頭，但其中很多鏡頭都經(jīng)過了調(diào)色、處理和穩(wěn)定化，所有鏡頭都被提高了分辨率。團隊處理的這些片段最初是以較低分辨率生成的，然后使用 Sora 或 OpenAI 之外的 AI 工具進行超分。

「你可以采用 720p 的分辨率，我相信已經(jīng)有 1080p 了，但它需要一段時間來渲染。為了速度，《Air Head》的所有鏡頭都是以 480p 制作的，然后使用 Topaz 來提高分辨率」，Patrick 介紹道。

在關(guān)鍵幀方面，Patrick 解釋道：「在實際生成中，不同動作的發(fā)生有一點時間控制，但并不精確，甚至有點像是碰運氣 —— 目前還不確定 Sora 是否真的能完成這一點。」不過，Shy Kids 使用的是最早版本的模型，Sora 仍在不斷開發(fā)中。

除了選擇分辨率，Sora 還允許用戶選擇長寬比，比如肖像模式或風(fēng)景模式（或正方形）。這在從 Sonny 的牛仔褲向上搖攝到他的氣球頭的鏡頭中非常有用。遺憾的是，Sora 無法原生渲染這樣的移動，總是希望鏡頭的主要焦點 —— 氣球頭出現(xiàn)在鏡頭中。因此，團隊以肖像模式渲染了這個鏡頭，然后通過后期的裁剪手動創(chuàng)建了向上搖攝的效果。

攝像機方向

對于許多生成式 AI 工具來說，訓(xùn)練數(shù)據(jù)附帶的元數(shù)據(jù)是寶貴的信息來源，比如攝像機元數(shù)據(jù)。例如，如果在靜態(tài)照片上進行訓(xùn)練，攝像機元數(shù)據(jù)將提供鏡頭尺寸、光圈值以及其他許多對模型訓(xùn)練至關(guān)重要的信息。

在電影鏡頭中，「跟蹤」、「平搖」、「豎搖」、「推進」等概念都不是元數(shù)據(jù)所能捕捉的術(shù)語或概念。

描述鏡頭對影片制作來說非常重要，Patrick 指出：「最初 Sora 中并沒有這個功能。不同的人描述電影鏡頭的方法也不同。OpenAI 的研究人員在藝術(shù)家使用這個工具之前，并沒有真正像電影制作人那樣思考?！?/span>

Shy Kids 知道他們使用的是 Sora 早期版本，但「初始版本的 Sora 在攝像機角度方面有點隨機?！筍ora 是否真的能理解 prompt 還不得而知，OpenAI 的研究人員只是專注于視覺生成，或許不考慮故事講述者將如何使用它。

「Sora 正在改進，生成控制還沒有完全到位。輸入一個『攝像機搖攝』，我認(rèn)為十次中有六次會得到想要的結(jié)果」，Patrick 說道。

這不是一個個例問題，幾乎所有 AI 視頻生成公司都面臨著同樣的問題，Runway AI 可能是在提供描述攝像機運動方面最先進的，但 Runway 渲染片段的質(zhì)量和長度都不如 Sora。

渲染時間

視頻片段可以以不同長度的時間段進行渲染，如 3 秒、5 秒、10 秒、20 秒，最長可達一分鐘。渲染時間取決于一天中的時間段（例如早、中、晚）以及云服務(wù)的需求量。

Patrick 介紹：「一般來說，每次渲染大約需要 10 到 20 分鐘。根據(jù)我的經(jīng)驗，我選擇的渲染時長對渲染時間的影響很小。如果渲染時長是 3 到 20 秒，渲染時間往往不會在 10 到 20 分鐘的范圍內(nèi)變化太大?！?/span>

雖然所有畫面都是 Sora 生成的，但《Air Head》仍然需要大量后期工作。例如，有時會有一張臉在氣球人 Sonny 上，就好像是用記號筆畫上去的，這些瑕疵將在后期工作中被移除。

原始素材 vs 最終成品 ——300:1

Shy Kids 的方法是像制作紀(jì)錄片一樣進行后期制作和編輯，即有很多鏡頭，你需要從這些素材中編織出一個故事，而不是嚴(yán)格按照劇本拍攝。雖然這部短片有一個劇本，但團隊需要靈活適應(yīng)。

「這就像是得到一大堆鏡頭，然后嘗試以一種有趣的方式剪輯到旁白中」，Patrick 介紹道。

對于最終出現(xiàn)在影片中的 90 秒鏡頭，Patrick 估計他們生成了「數(shù)百個 10 到 20 秒的片段」。他補充說：「我猜原始素材和最終成品的比例大概是 300:1。」

奇怪的「慢動作」

《Air Head》的許多片段生成時就好像是以慢動作拍攝的，盡管這并沒有在 prompt 中被要求。這種情況發(fā)生的原因尚不清楚，但許多片段因此需要重新調(diào)整時間，以使其看起來像是實時拍攝的。這似乎與訓(xùn)練數(shù)據(jù)有關(guān)。

值得一提的是，Shy Kids 在他們的 prompt 中使用了「35 mm film（35 毫米膠片）」這個關(guān)鍵詞，并發(fā)現(xiàn)這在一定程度上給了他們所追求的一致性。

版權(quán)問題

OpenAI 試圖尊重版權(quán)，不允許生成可能侵犯版權(quán)或侵犯肖像權(quán)的內(nèi)容。例如，如果用戶的 prompt 類似于「35 毫米膠片，在一個未來主義的太空船中，一個男人拿著光劍向前走」，Sora 將不允許生成該片段，因為它太接近《星球大戰(zhàn)》了。

Patrick 回憶說，當(dāng)他們最初只是想測試 Sora 時：「我不假思索地輸入了『阿羅諾夫斯基類型的鏡頭』，然后就被告知不能這樣做?！筍ora 出于版權(quán)問題會拒絕這類 prompt。

值得注意的是，Sora 生成的視頻都是沒有聲音的，《Air Head》中主角 Sonny 的聲音是 Patrick 本人的聲音。

Shy Kids 團隊表示已經(jīng)開始為《Air Head》制作一部精彩的、人物有自我意識的、或許帶點諷刺意味的續(xù)集。但對于電影制作等實際項目來說，Sora 可能還需要一段時間才能達到創(chuàng)作者所需的精確度。