整理 | 言征

OpenAI 的視頻生成工具 Sora在2月份讓業界大吃一驚，其流暢、逼真的視頻似乎遠遠領先于競爭對手。然而這場精心策劃的首次亮相，留給了大眾太多不為人知的細節。

近日， OpenAI 大火的宣傳短片的制作團隊之一的Shy Kids接受了媒體采訪，并分享了自己作為少數最早使用Sora技術的視頻創作者的酸甜苦辣。

OpenAI Sora宣傳短片之一（Air Head 氣球人）

Shy Kids 是一個位于多倫多的數字制作團隊，被 OpenAI 選為少數幾個主要出于 OpenAI 宣傳目的制作短片的團隊之一，他們在創作“Air Head”時被賦予了相當大的創作自由。

而且值得注意的是，這些短片并不完全是由Sora生成的，在接受媒體采訪時，后期制作藝術家 Patrick Cederberg 將“實際使用 Sora”描述為“這只是他作品的一部分”。

然而大眾卻可能會先入為主地認為：這些逼真生動的短片完全是由 Sora 制作的。

然而，事實是這些都是專業制作，配有強大的故事板、編輯、色彩校正，以及動態觀察和視覺特效等后期工作。

就像蘋果公司在宣傳時說“在 iPhone 上拍攝”，但事后沒有展示工作室設置、專業燈光和色彩工作一樣，Sora 的帖子只談論它讓人們做什么，而不是他們實際上是如何做到的。

Cederberg 的采訪很有趣，而且非常非技術性。盡管Sora模型令人印象深刻，但它可能并沒有我們想象的那般美好。

1、并沒有適當的功能集來完全控制一致性

目前，控制仍然是最令人渴望的，也是最難以捉摸的。……我們能得到的最接近的結果就是在提示中進行過度描述。解釋角色的服裝以及氣球的類型是我們解決一致性的方法，因為逐個鏡頭/一代又一代，還沒有適當的功能集來完全控制一致性。

換句話說，傳統電影制作中的簡單問題（例如選擇角色服裝的顏色）到了Sora這里，反而需要更為復雜的解決方法，同時需要在生成系統中進行檢查，因為每個鏡頭都是獨立于其他鏡頭創建的。這種情況后續可能會改善，但目前肯定還是非常費力。

此外，還必須注意Sora的輸出是否有多余的元素：Cederberg描述了模型如何在氣球上生成一張臉（主角的頭部），或者一條掛在前面的繩子。如果他們無法通過提示可以刪除這些臉或繩子，那么就必須通過后期刪除它們，這是另一個耗時的過程。

圖片

人物或攝像機的精確時間和動作的控制，實際上也是做不到的：“對于這些不同動作在實際生成中發生的位置有一點時間控制，但這并不精確......這有點像在黑暗中拍攝，”說Cederberg。

例如，與手動動畫不同，對像揮手這樣的手勢進行計時是一個非常近似的、“建議驅動”的過程。像角色身體向上平移這樣的鏡頭，也并不總是能呈現出電影制片人想要的內容。在這種情況下，團隊不得不自己渲染一個縱向構圖的鏡頭，并在后期進行了裁剪平移。生成的剪輯也經常是慢動作，沒有特殊原因。 

圖片

Sora的一個鏡頭以及它如何在短片中生成的

Cederberg說，事實上，使用電影制作的日常語言，比如“向右平移”或“跟蹤鏡頭”，一般來說是不一致的，團隊發現這非常令人驚訝。

“研究人員在讓藝術家使用這個工具之前，并沒有真正像電影制作人那樣思考，”他說。

結果，該團隊進行了數百次生成，每次生成 10 到 20 秒，最終只使用了其中的少數作品。Cederberg 估計該比例為 300:1 — 但當然，我們可能都會對普通拍攝的比例感到驚訝。

此外，該團隊實際上制作了一些幕后視頻來解釋他們遇到的一些問題。就像許多與人工智能相關的內容一樣，這些評論對整個努力相當批評——盡管不像我們最近看到的受到嘲笑的人工智能輔助廣告那么謾罵。

2.Sora有某種機制拒絕涉嫌版權問題的生成

最后一個有趣的問題與版權有關：如果你要求 Sora 給你一個“星球大戰”剪輯，它會拒絕。如果你試圖用“復古未來派宇宙飛船上拿著激光劍的長袍男子”來繞過它，它也會拒絕，因為它通過某種機制識別出你想要做什么。它還拒絕進行“阿羅諾夫斯基式鏡頭”或“希區柯克變焦”。

一方面，這是完全有道理的。但它確實提出了一個問題：如果 Sora 知道這些是什么，是否意味著模型接受了該內容的訓練，可以更好地識別它是否侵權？OpenAI 將其訓練數據卡保密到了荒謬的地步，就像首席技術官 Mira Murati 接受喬安娜·斯特恩 (Joanna Stern) 的采訪一樣，幾乎可以肯定永遠不會告訴我們。

至于 Sora 及其在電影制作中的使用，它顯然是一個強大且有用的工具，但它的作用并不是“用整塊布制作電影”。“那會是后來的事。”

來源： 51CTO技術棧 作者：言征