Runway最新視頻模型Gen-4上線!保真度、一致性、可控性做到最強
這幾天,GPT-4o 的生圖功能殺瘋了,沒想到 AI 視頻領域也傳來了好消息。
就在昨天,AI 初創公司 Runway 發布了一款號稱是迄今為止最高保真度的 AI 視頻生成模型 ——Gen-4。
該模型在畫面真實感、動態流暢度和創作可控性上取得重大進步。與上一代 Gen-3 Alpha 版本相比,Gen-4 擅長生成具有逼真運動以及主題、對象和風格一致性的高度動態視頻,同時具備優秀的提示遵循能力和一流的全球理解能力。
值得一提的是,使用視覺參考和文字指令,Gen-4 即可創建具有一致風格、主題、位置等的新圖像和視頻,讓故事更具連續性和控制力。
為了測試模型的敘事能力,Runway 還整理了一系列短片和音樂視頻。
比如這則《孤獨的小火焰》,從分鏡到成片均由 Gen-4 制作完成。
再如下面這個《紐約是動物園》,則展示了 Gen-4 令人印象深刻的視覺效果功能,將超現實動物帶入紐約的電影場景。
影片中的每個場景都使用 Gen-4 References 功能將動物的真實圖像與紐約的真實照片相結合,然后提示每個場景的具體動作而創建的。
《牛群》是一部短片,講述了一個年輕人在夜間被牛群追逐的故事。它使用 Gen-4 技術,僅憑少量圖像參考構建出每個鏡頭中的人物和霧蒙蒙的牛群場景,然后與 Act-One 結合,將故事串聯起來。
《尋回》這部探險題材動畫短片,從概念設計到成片制作僅耗時一周,Gen-4 憑借其強大的生成能力完整呈現了一群探險者尋找神秘花朵的故事。
與其他視頻生成模型一樣,Gen-4 也接受了大量視頻示例的訓練,以「學習」這些視頻中的模式來生成合成鏡頭。Runway 拒絕透露訓練數據的來源,部分原因是擔心失去競爭優勢,但訓練細節也是與知識產權相關的訴訟的潛在來源。
例如,Runway 正面臨藝術家對其和其他生成 AI 公司的訴訟,指控被告未經許可使用受版權保護的藝術品來訓練他們的模型。 Runway 辯稱,合理使用原則可以保護其免受法律影響。目前尚不清楚該公司是否會勝訴。
不過,Runway 面臨的風險相當高,據說該公司正在籌集新一輪融資,估值將達到 40 億美元。據 The Information 報道,Runway 希望在推出視頻生成模型 API 等產品后,今年的年收入能達到 3 億美元。
無論針對 Runway 的訴訟結果如何,生成式 AI 視頻工具都有可能顛覆我們所知的電影和電視行業。代表好萊塢動畫師和漫畫家的工會動畫協會委托進行的一項 2024 年研究發現,75% 采用 AI 的電影制作公司在引入該技術后減少了工作崗位、合并了崗位或取消了崗位。該研究還估計,到 2026 年,美國娛樂業將有超過 10 萬個工作崗位受到生成式 AI 的沖擊。
盡管官方聲稱 Gen-4 圖像轉視頻功能已經向所有付費計劃和企業客戶推出,但有網友表示,Gen-4 可能正在陸續向付費用戶推送,需要耐心等待。