出品 | 51CTO技術棧（微信號：blog51cto）

短視頻賽道的戰火已經徹底卷起來了，今天，一款讓全球網友興奮到刷屏的視頻生成器上線了！

Dream Machine，這款可以根據文本和圖像生成AI視頻的工具向公眾開放，免費，免費，免費！關鍵還在于，跟傳說中的Sora技術路線大不相同，2分鐘內就能生成！

話不多說，在解讀技術之前，先看效果（什么才是真正的饕餮盛宴）！

1.大片預告—Justin

有人搶先體驗了DreamMachine的人甚至生成了非常震撼預告片，戰爭、歌唱家、魔法師、騎士、海盜船長、騎手被處理的渾然天成。

這位體驗者Justin贊嘆道：你以為LumaLabsAI只是關于酷炫的3D物體。錯了！事實證明，數千個高斯條紋可以輕松變成強大的視頻生成模型。

2.新世紀渴望——Kaku Drop

“一個新世代已經開始。我們在科技浪潮中重生并發展。我們展望未來，不耽念過去，并不斷向前。”不同衣著風格的女生四處透露出福音戰士的日系動畫風格，面容卻出奇得保持一致，場景構思十分前瞻新奇。網友驚呼：創作的進入門檻正在被徹底打破！

3. U WREE MINE —Next on Now

這里就不得不驚嘆Luma最新模型太厲害了！電視機屏幕里的畫面一致性做得非常棒，而且鏡頭拉伸、角度的變換、人物動作的處理幾乎處理得堪稱完美。

4.奇幻生物—Curious Reuge

再體驗之后，創作者Curious大吃一驚，這個視頻主要是通過圖像轉視頻的功能聲生成的。海底的白鯨、雨林的變色龍、非洲草原上獵豹……似乎到了這里全都披上了一層夢幻的籠紗，讓人誤以為進入到了堪比“猛獸俠”的火種時代。

以上更多是圖生視頻，文生視頻的能力如何？

小編也第一時間進行了測試。

提示詞：小米汽車，行駛在跨江大橋上。

提示詞：牛頓坐在蘋果樹下，一顆紅蘋果砸到了他的頭。

提示詞：Newton was sitting under an apple tree when a red apple hit him on the head.

小編看到牛頓竟然會被蘋果這樣“砸”，實在是懷疑自己的提示詞出了問題，哭笑不得，這一顆接一顆的蘋果掉下來，即便沒有砸到頭，砸到手，不也得砸出事情來！

一、怎么做到的？

根據圖像生成的短片為什么這么逼真？

相信大家都知道《珍珠耳環的少女》這幅畫作，Dream Machine可以做到分鐘內生成3D版并按照提示生成相應的動作和鏡頭切換，大家可以看下面的視頻，非常驚艷。

對比之前的鬼畜gif，是不是瞬間高大上了起來，相信之后的動態表情包有了更加無敵的生成器了！

想到這里，小編果斷想到能不能讓齊白石老先生的“蝦”活過來！效果非常絲滑，鏡頭感也是拉滿了，蝦腿游弋的動作清晰可見！

二、不同于Sora的技術：三維重建術

小編從技術交流群中了解到，一位技術專家跟Luma的技術團隊做了交流，Dream Machine的實現原理跟類Sora技術并不相同，很多工作都是從一項名叫NeRF的技術做的，即：先根據提示詞生成3D場景，然后在渲染。

所以對于3D場景，效果就會不錯，而對于較難3D重建的場景，比如“吃面”，效果就不一定好。

圖片

NeRF技術，全稱Neural Radiance Fields，即神經輻射場，是一種使用神經網絡來隱式表達3D場景的技術，是Luma AI構建3D內容的核心。這一套最初由UC Berkeley和Google發布的深度學習系統，可以基于少量的2D圖像，對3D場景的幾何形狀和外觀進行建模。

這項技術應用非常廣泛，包括但不限于3D建模、自動駕駛、導航系統等領域。

除此之外，Luma AI增長負責人Barkley Dai還表示，基于NeRF和Gaussian Splatting 3D重建技術，Luma AI可以基于2D圖像數據快速構建高質量3D數據，用于機器學習和算法訓練。

減少生成高質量3D內容所需的算力資源和時間，則是AI 3D生成技術落地的關鍵。自今年以來，Text to 3D所耗時長已經從小時級，縮減到了分鐘級。

值得注意的是，去年11月，Luma AI在Discord上發布了了Text to 3D工具Genie，則將Text to 3D所耗時長縮減到秒級。基于大量3D形狀、結構和場景數據進行深度神經網絡訓練，Genie建立了對語義和3D空間幾何對應關系的理解能力。

三、Luma核心團隊

成立于2021年，Luma AI是美國加州舊金山灣區的初創企業，該公司聚焦于3D內容生成技術，提供3D內容生成和3D內容重建技術解決方案。

Luma AI的核心團隊，擁有海外頭部大廠和高校的履歷。創始人兼CEO Amit Jain出身蘋果 AR/VR 部門，在3D計算機視覺、深度技術產品等方面有豐富經驗。

圖片

創始人兼CTO Alex Yu畢業于UC Berkeley，曾與人工智能研究實驗室教授Angjoo Kanazawa共同進行NeRF（Neural Radiance Fields，神經輻射場）相關的3D計算機視覺研究。

圖片

首席科學家Jiaming Song，曾就讀于清華大學計算機科學與技術系，獲得了斯坦福大學博士學位，在 Stefano Ermon 教授的指導下學習機器學習和生成模型。在加入 Luma 之前，他曾參與 NVIDIA AI Foundations 的圖像/視頻/3D 生成模型的開發。

Jiaming目前正在研究生成 3D 內容的基礎模型。他參與了 DDIM（第一個快速擴散模型采樣器）和 SDEdit（擴散模型中第一個圖像到圖像的轉換方法）的開發。

圖片

首席科學顧問金澤安珠（Angjoo Kanazawa）是加州大學伯克利分校 EECS 系的助理教授。她的研究領域是計算機視覺、計算機圖形學和機器學習的交叉領域，專注于日常照片和視頻背后的動態 3D 世界的視覺感知。她對重建世界上的一切感到興奮！她是斯隆研究員 (2023)，熱衷于創造有用的事物。她在馬里蘭大學帕克分校獲得博士學位。

圖片

這里，給大家一個傳送門：

??https://lumalabs.ai/dream-machine/??

趕緊開啟自己的大片之旅吧！

對了，據隔壁桌愛玩文生視頻的同事反映，她最愛的還是國產快手的“可靈”，吸引她的有三點：國產自研的，中國人更懂中國人；第二點是，大幅度的合理運動也可以生成；第三點就是時長可以高達2分鐘，而且支持自由的寬高比。當然，據悉，可靈也采用了類Sora的技術架構。【對話OpenAI，Sora你還不對外開放？】

話說回來，大家更喜歡哪款？

本文轉載自??51CTO技術棧??