出品 | 51CTO技術(shù)棧（微信號：blog51cto）
短視頻賽道的戰(zhàn)火已經(jīng)徹底卷起來了，今天，一款讓全球網(wǎng)友興奮到刷屏的視頻生成器上線了！
Dream Machine，這款可以根據(jù)文本和圖像生成AI視頻的工具向公眾開放，免費，免費，免費！關(guān)鍵還在于，跟傳說中的Sora技術(shù)路線大不相同，2分鐘內(nèi)就能生成！
話不多說，在解讀技術(shù)之前，先看效果（什么才是真正的饕餮盛宴）！
1.大片預(yù)告—Justin
有人搶先體驗了DreamMachine的人甚至生成了非常震撼預(yù)告片，戰(zhàn)爭、歌唱家、魔法師、騎士、海盜船長、騎手被處理的渾然天成。
這位體驗者Justin贊嘆道：你以為LumaLabsAI只是關(guān)于酷炫的3D物體。錯了！事實證明，數(shù)千個高斯條紋可以輕松變成強(qiáng)大的視頻生成模型。
2.新世紀(jì)渴望——Kaku Drop
“一個新世代已經(jīng)開始。我們在科技浪潮中重生并發(fā)展。我們展望未來，不耽念過去，并不斷向前。”不同衣著風(fēng)格的女生四處透露出福音戰(zhàn)士的日系動畫風(fēng)格，面容卻出奇得保持一致，場景構(gòu)思十分前瞻新奇。網(wǎng)友驚呼：創(chuàng)作的進(jìn)入門檻正在被徹底打破！
3. U WREE MINE —Next on Now
這里就不得不驚嘆Luma最新模型太厲害了！電視機(jī)屏幕里的畫面一致性做得非常棒，而且鏡頭拉伸、角度的變換、人物動作的處理幾乎處理得堪稱完美。
4.奇幻生物—Curious Reuge
再體驗之后，創(chuàng)作者Curious大吃一驚，這個視頻主要是通過圖像轉(zhuǎn)視頻的功能聲生成的。海底的白鯨、雨林的變色龍、非洲草原上獵豹……似乎到了這里全都披上了一層夢幻的籠紗，讓人誤以為進(jìn)入到了堪比“猛獸俠”的火種時代。
以上更多是圖生視頻，文生視頻的能力如何？
小編也第一時間進(jìn)行了測試。
提示詞：小米汽車，行駛在跨江大橋上。
提示詞：牛頓坐在蘋果樹下，一顆紅蘋果砸到了他的頭。
提示詞：Newton was sitting under an apple tree when a red apple hit him on the head.
小編看到牛頓竟然會被蘋果這樣“砸”，實在是懷疑自己的提示詞出了問題，哭笑不得，這一顆接一顆的蘋果掉下來，即便沒有砸到頭，砸到手，不也得砸出事情來！
一、怎么做到的？
根據(jù)圖像生成的短片為什么這么逼真？
相信大家都知道《珍珠耳環(huán)的少女》這幅畫作，Dream Machine可以做到分鐘內(nèi)生成3D版并按照提示生成相應(yīng)的動作和鏡頭切換，大家可以看下面的視頻，非常驚艷。
對比之前的鬼畜gif，是不是瞬間高大上了起來，相信之后的動態(tài)表情包有了更加無敵的生成器了！
想到這里，小編果斷想到能不能讓齊白石老先生的“蝦”活過來！效果非常絲滑，鏡頭感也是拉滿了，蝦腿游弋的動作清晰可見！
二、不同于Sora的技術(shù)：三維重建術(shù)
小編從技術(shù)交流群中了解到，一位技術(shù)專家跟Luma的技術(shù)團(tuán)隊做了交流，Dream Machine的實現(xiàn)原理跟類Sora技術(shù)并不相同，很多工作都是從一項名叫NeRF的技術(shù)做的，即：先根據(jù)提示詞生成3D場景，然后在渲染。
所以對于3D場景，效果就會不錯，而對于較難3D重建的場景，比如“吃面”，效果就不一定好。
圖片
NeRF技術(shù)，全稱Neural Radiance Fields，即神經(jīng)輻射場，是一種使用神經(jīng)網(wǎng)絡(luò)來隱式表達(dá)3D場景的技術(shù)，是Luma AI構(gòu)建3D內(nèi)容的核心。這一套最初由UC Berkeley和Google發(fā)布的深度學(xué)習(xí)系統(tǒng)，可以基于少量的2D圖像，對3D場景的幾何形狀和外觀進(jìn)行建模。
這項技術(shù)應(yīng)用非常廣泛，包括但不限于3D建模、自動駕駛、導(dǎo)航系統(tǒng)等領(lǐng)域。
除此之外，Luma AI增長負(fù)責(zé)人Barkley Dai還表示，基于NeRF和Gaussian Splatting 3D重建技術(shù)，Luma AI可以基于2D圖像數(shù)據(jù)快速構(gòu)建高質(zhì)量3D數(shù)據(jù)，用于機(jī)器學(xué)習(xí)和算法訓(xùn)練。
減少生成高質(zhì)量3D內(nèi)容所需的算力資源和時間，則是AI 3D生成技術(shù)落地的關(guān)鍵。自今年以來，Text to 3D所耗時長已經(jīng)從小時級，縮減到了分鐘級。
值得注意的是，去年11月，Luma AI在Discord上發(fā)布了了Text to 3D工具Genie，則將Text to 3D所耗時長縮減到秒級。基于大量3D形狀、結(jié)構(gòu)和場景數(shù)據(jù)進(jìn)行深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練，Genie建立了對語義和3D空間幾何對應(yīng)關(guān)系的理解能力。
三、Luma核心團(tuán)隊
成立于2021年，Luma AI是美國加州舊金山灣區(qū)的初創(chuàng)企業(yè)，該公司聚焦于3D內(nèi)容生成技術(shù)，提供3D內(nèi)容生成和3D內(nèi)容重建技術(shù)解決方案。
Luma AI的核心團(tuán)隊，擁有海外頭部大廠和高校的履歷。創(chuàng)始人兼CEO Amit Jain出身蘋果 AR/VR 部門，在3D計算機(jī)視覺、深度技術(shù)產(chǎn)品等方面有豐富經(jīng)驗。
圖片
創(chuàng)始人兼CTO Alex Yu畢業(yè)于UC Berkeley，曾與人工智能研究實驗室教授Angjoo Kanazawa共同進(jìn)行NeRF（Neural Radiance Fields，神經(jīng)輻射場）相關(guān)的3D計算機(jī)視覺研究。
圖片
首席科學(xué)家Jiaming Song，曾就讀于清華大學(xué)計算機(jī)科學(xué)與技術(shù)系，獲得了斯坦福大學(xué)博士學(xué)位，在 Stefano Ermon 教授的指導(dǎo)下學(xué)習(xí)機(jī)器學(xué)習(xí)和生成模型。在加入 Luma 之前，他曾參與 NVIDIA AI Foundations 的圖像/視頻/3D 生成模型的開發(fā)。
Jiaming目前正在研究生成 3D 內(nèi)容的基礎(chǔ)模型。他參與了 DDIM（第一個快速擴(kuò)散模型采樣器）和 SDEdit（擴(kuò)散模型中第一個圖像到圖像的轉(zhuǎn)換方法）的開發(fā)。
圖片
首席科學(xué)顧問金澤安珠（Angjoo Kanazawa）是加州大學(xué)伯克利分校 EECS 系的助理教授。她的研究領(lǐng)域是計算機(jī)視覺、計算機(jī)圖形學(xué)和機(jī)器學(xué)習(xí)的交叉領(lǐng)域，專注于日常照片和視頻背后的動態(tài) 3D 世界的視覺感知。她對重建世界上的一切感到興奮！她是斯隆研究員 (2023)，熱衷于創(chuàng)造有用的事物。她在馬里蘭大學(xué)帕克分校獲得博士學(xué)位。
圖片
這里，給大家一個傳送門：
https://lumalabs.ai/dream-machine/
趕緊開啟自己的大片之旅吧！
對了，據(jù)隔壁桌愛玩文生視頻的同事反映，她最愛的還是國產(chǎn)快手的“可靈”，吸引她的有三點：國產(chǎn)自研的，中國人更懂中國人；第二點是，大幅度的合理運動也可以生成；第三點就是時長可以高達(dá)2分鐘，而且支持自由的寬高比。當(dāng)然，據(jù)悉，可靈也采用了類Sora的技術(shù)架構(gòu)。【對話OpenAI，Sora你還不對外開放？】
話說回來，大家更喜歡哪款？
