AI視頻新霸主誕生！Dream Machine官宣免費用，電影級大片全網玩瘋
視頻生成領域，又添一員猛將！
就在今天，Luma AI首發了自己的視頻生成模型Dream Machine，可以通過文字或圖片生成高質量的逼真視頻。
更重要的是，API對全球免費開放！進入官網后用谷歌賬號登錄即可馬上試用。
每個用戶每月有30次免費生成的額度，但比較遺憾的是，每條視頻時長只有5秒。
免費試用的消息一出，熱情的網友們紛紛擠入服務器，結果發現Luma AI囤的算力好像不夠，于是開始了一場漫長的等待。
剛發布后，有些人等了2個小時還沒生成出來，Reddit社區中一片怨聲載道。
果不其然最后「真香」了，這個視頻質量是值得等一會兒的。
接下來，看看這個「造夢機」究竟有多瘋狂？
電影級畫質，逼真感拉滿
官方放出的demo涵蓋了各種不同風格和題材的視頻，能感覺到最突出的特點就是「電影感」拉滿。
不僅有比較好的連貫性，鏡頭的藝術感也非常不錯。
此外，demo還單獨強調了一些模型能力，比如生成各種動態以及具有表現力的人物。
不得不說，Luma的審美真的在線，視頻中的小姐姐都有一種超模般的「高級美」。
下面這個黑白色調的仰拍鏡頭，人物動作自然絲滑、一氣呵成，裙擺飛起時的幅度雖然有些夸張，但還在可接受范圍內。
最重要的是動作符合自然規律，沒有出現「手臂融化」、「膝蓋外折」這種神奇情況
下面這個demo可以讓日漫迷們淺淺興奮一下，不僅風格對味兒，而且鏡頭很有意境，可以開始幻想「人均新海誠」了。
比官方demo更精彩的，是各路大神網友們的腦洞創意。
比如在人眼中嵌入一個手繪地球儀。
原本需要幾千個高斯點染圖的工作，一個Dream Machine就能瞬間完成了。
Sora發布時，很多人驚嘆于模型對于光影效果的理解，Dream Machine在這方面的表現也很不錯。
這位網友用自己拍攝一張的照片作為提示，生成出來的視頻可以延續之前的光感，絲毫不會割裂。
將世界名畫《帶珍珠耳環的少女》輸入給Dream Machine，就可以讓藝術史上這位著名模特瞬間「復活」。
但是模型似乎有它自己的想法和審美，比如視頻后半段自行更改了模特的相貌和頭巾材質，感覺從17世紀的荷蘭少女無縫銜接到21世紀T臺。
之前在視頻生成模型中很少見到的風格，Luma也搞出來了。
比如下面這個demo，狠狠拿捏住了好萊塢老電影的感覺。
提示：意大利黑手黨家族站在桌子周圍，一邊抽雪茄一邊數黃金和金錢
但槽點也不是沒有，比如香煙的煙霧擴散似乎不夠自然，而且沒有遵守提示中的「站在桌子周圍」（可能是黑手黨老大只會坐著吧）。
專業創作者們放出的demo更加驚艷。
Reddit上放出了一段時長10秒的4K視頻，作者用MidJourney生成的圖片喂給Dream Machine。
沒有經過換臉或變速處理，一條很有質感的預告片素材就生成出來了。
雖然主角的表情幾乎沒什么變化，但環境和皮衣質感的渲染非常到位，五官和額頭的皺紋也比較自然。
這位創作者更是重量級，他借助Luma的工具生成了一條超過1分鐘的視頻，作為自己電影項目的宣傳片。
來欣賞大片級別的模型應用demo——
只看視頻，你能判斷出這里面有AI模型的參與嗎？
作為勇敢擁抱AI浪潮的急先鋒，這位創作者不僅借助Dream Machine生成視頻，還使用Udio制作配樂，「沒有什么是比AI視頻更顛覆性的時刻了」。
??https://x.com/cfryant/status/180092390443913626??7
親測史密斯吃面
看了這么多demo，有比較嚴謹的Reddit網友坐不住了。模型都放出來了，應該跑下基準測試吧——
哪個好心人幫忙生成下Will Smith吃面條？
「唯一的真實基準測試。」
已經等不及的小編決定自己動手，成果如下——
沒想到Dream Machine雖然不太愛聽指令，但還挺有幽默感的。在其他模型中還沒見過因為吃不到面條氣成這樣的Will。
如果輸入更詳細的指令呢？
面條的形態也很自然，但手指似乎不太對勁，但更明顯的問題是，Will吃著吃著居然變臉了。
如果直接將這張圖片輸入給模型，能否解決變臉的問題呢？
很遺憾，似乎并沒有。
AI視頻三大王者PK
那么相比Pika、Sora等同行競品，Dream Machine的性能究竟是個什么水平？
有試用者大膽宣稱，Luma是目前我們見到最好的模型！
畢竟Sora還沒公開，沒有人能準確評價其實力。但大家似乎都認同，Luma的表現要優于Runway和Pika。
甚至還有Luma真愛粉在推特上直抒胸臆。通過輸入相同的提示對比Pika、Runway和Dream Machine三個模型，他認為最終還是Luma贏了。
從完整視頻中可以看到，三個模型都可以生成和渲染很高質量的畫面。
但Luma模型之所以「電影感」更強，一方面是似乎有更豐富的「想象力」，能腦補出更多表情和動作；
另一方面則是源于更自然的鏡頭節奏，人物的行動速度適中，既不過快，也不過慢。
剛剛發布半天，網上似乎就充斥著對Dream Machine的溢美之詞，但這并不代表模型生成的視頻已經完美無缺了。
Luma官網上就非常坦誠地放出了很多有缺陷的demo，表明他們今后計劃的改進方向。
比如剛才Will Smith吃面條的視頻中出現的「變形」，不僅人臉會有，跑車也會有。
更驚悚的是，在水中游泳的北極熊會突然從身后長出另一個頭。
此外，其他模型存在的問題，Dream Machine也沒能幸免，比如有時會生成錯誤的文字，或者沒能實現想要的動態效果。
而且小編在嘗試官方推薦的文本prompt時，還偶遇了模型的「精分」現場。
輸入下面這個prompt，可以得到官網同款的驚艷demo：
Low-angle shot of a majestic tiger prowling through a snowy landscape, leaving paw prints on the white blanket
一只雄壯的老虎在雪地中徘徊的低角度鏡頭，在白色的雪地上留下了爪印
但視頻后半段就突然畫風一轉，不僅虎爪的形態不自然了，變臉的程度甚至達到了「驚悚」級別。
雖然有諸多不足，但是Luma能在官網上坦然放出缺陷demo，并放出了一系列「未完待續」的動圖，暗示著下一步的更新很可能就在不久之后。
背后團隊，5位華人
發布模型的同時，Luma也公布了模型開發團隊的名單。從名字來看，14人中應該有5名華人成員。
其中，Alex Yu是公司聯創兼CTO。他畢業于加州大學伯克利分校，曾在Adobe工作，研究方向是神經渲染和實時圖形領域。
Yu在2021年畢業后，就和另一位創始人Amit Jain創辦了Luma公司。
Jain在學校修讀的是物理和數學學位，曾在蘋果工作，在3D計算機視覺、機器學習、系統工程和深度技術產品方面有豐富經驗。
根據crunchbase的數據，Luma AI已在 3 輪融資中籌集了6730 萬美元，最新一輪融資是今年1月9日通過的B輪融資，最新的投資方包括英偉達公司。
本文轉自 新智元 ，作者：新智元
