Midjourney+Gen2,七步完成「芭本海默」,引Karpathy驚呼|附實(shí)測(cè)經(jīng)驗(yàn)
在前兩天芭比海默全網(wǎng)爆火之后,不斷有網(wǎng)友“復(fù)現(xiàn)”用MidJourney+Gen-2制作電影的神技!
而一位網(wǎng)友更新了一個(gè)自己的教程,制作芭本海默只需7步,被Karpathy盛贊為“電影制作工業(yè)2.0”。
一部20秒鐘,有完整劇情,包含6個(gè)分鏡頭的動(dòng)畫(huà)短片,7步完成,曹植看了都要直呼內(nèi)行!
7步完成芭比海默,效果驚人
下面就給大家具體演示一下:
1. ChatGPT幫你寫(xiě)分鏡頭劇本,順便再幫你把字幕也寫(xiě)好
2. 根據(jù)分鏡頭腳本,用Midjourney生成每個(gè)鏡頭的開(kāi)始的一張圖片。
這里可能是7步成片中唯一一步稍微有點(diǎn)門(mén)檻的操作,每張圖片的提示詞要自己創(chuàng)作。
但是點(diǎn)擊圖片放大之后可以看到提示詞也不是很長(zhǎng),有一點(diǎn)英語(yǔ)基礎(chǔ)的朋友稍微試一下就能做到。
這是短片中另外幾個(gè)場(chǎng)景的起始圖片,也全都是用Midjourney生成。
3. 為了保證短片中的場(chǎng)景色調(diào)一致,需要用修圖軟件調(diào)整一下每張圖片的色調(diào)。
比如短片里的色調(diào)是比較復(fù)古的風(fēng)格,Midjourney生成的原圖可能不符合。
用任意一款修圖軟件調(diào)整過(guò)后,就能讓所有場(chǎng)景的風(fēng)格比較一致了。
4. 使用Gen-2讓每一張照片動(dòng)起來(lái),把6張照片變?yōu)?個(gè)分鏡頭。
5.然后用ElevenLabs生成字幕的語(yǔ)音。
6. 然后用FinalCut Pro把動(dòng)畫(huà),聲音,和特效結(jié)合起來(lái),短片就基本完成了。
7. 再用Capcut添加好字幕,大功告成!
實(shí)測(cè)之后發(fā)現(xiàn)的經(jīng)驗(yàn)
雖然看著簡(jiǎn)單,但是親手實(shí)測(cè)了一波后發(fā)現(xiàn),沒(méi)有一個(gè)清晰的規(guī)劃,要想做出自己效果滿意的電影,還是很不容易的。
最大的障礙在于,因?yàn)镚en-2的動(dòng)畫(huà)只能以某一張圖隨機(jī)生成,所以在涉及人臉畫(huà)面的時(shí)候,畸變會(huì)比較多。
本來(lái)想做一個(gè)馬老板手搓星艦的視頻,但是發(fā)現(xiàn)人物面部的畸變太嚴(yán)重了,以至于每段視頻只有第一幀圖片是馬老板本人,一秒鐘之后就不知道會(huì)變成誰(shuí)了。
所以如果想要用Gen-2做一個(gè)明星相關(guān)的視頻,現(xiàn)在為止還幾乎不可能。
而且這些面部畸變和人物動(dòng)作時(shí)完全隨機(jī)的,完全不受用戶控制。
有一位網(wǎng)友做了一段視頻,把每4秒的最后一幀截圖下來(lái)讓Gen-2繼續(xù)生成新動(dòng)畫(huà)。
大概40秒之后,畫(huà)面中的人物,從一開(kāi)始的美漫風(fēng)格的動(dòng)畫(huà)角色,最后幾乎畸變成了雕塑。
即便圖片中有一些比較明顯的動(dòng)態(tài)提示的效果,但是Gen-2還不能理解,所以生成的效果也不一定符合你的預(yù)期。
人物的動(dòng)作也沒(méi)有辦法太好的控制,可能為了要生成一段自己滿意的動(dòng)畫(huà)需要用同一張圖嘗試好長(zhǎng)時(shí)間。
所以就目前Gen-2能實(shí)現(xiàn)的效果來(lái)看,還不太可能隨意適應(yīng)比較復(fù)雜的劇本。
所以就要求寫(xiě)劇本時(shí)要盡量避免近景人臉特寫(xiě)等場(chǎng)景。
但是如果未來(lái)Gen-2能夠?qū)rompt和圖片完全結(jié)合起來(lái),讓圖片能夠跟著prompt的描述動(dòng)起來(lái),效果就會(huì)有一個(gè)巨大的飛躍。
其他的Midjourney+Gen-2的效果
大神歸藏,用Gen-2做了幾個(gè)《奧本海默》中的場(chǎng)景,足以以假亂真。
同時(shí),他還比較了相似的場(chǎng)景和Pika Lab生成的區(qū)別。
下圖是Pika Lab的效果。
除了開(kāi)頭這段「芭比海默」之外,很多網(wǎng)友也用Gen-2和Midjouney這對(duì)黃金搭檔做起了動(dòng)畫(huà)開(kāi)發(fā)的副業(yè)。
讓我們來(lái)欣賞幾組效果不錯(cuò)的動(dòng)畫(huà)效果演示。
可以看出,在演示之中人臉的效果變形不是很大,這與實(shí)測(cè)的差異很大,很有可能是因?yàn)樽髡咴嚵撕芏啻沃笳业降哪槻炕儾淮蟮男Ч?/span>
有網(wǎng)友生成了一部名人漫威角色的預(yù)告片,效果非常逼真,配上一點(diǎn)動(dòng)畫(huà)特效和光影,感覺(jué)真的像是漫威官方的作品。
這是網(wǎng)友生成的一段恐怖電影的預(yù)告片,反而很好的利用了Gen-2人物畫(huà)面畸變,增加了恐怖片的氛圍感。
這一段也是網(wǎng)友用MJ+Gen-2做的藝術(shù)感很強(qiáng)的視頻,加上后期跟新的導(dǎo)演運(yùn)鏡特效。
這是一幅用油畫(huà)的靜圖生成的動(dòng)畫(huà),雖然有一點(diǎn)畸變,但是效果確實(shí)不錯(cuò)。