Midjourney學會看圖說話!輸入圖像秒出prompt,網友玩瘋了
?Midjourney V5上線后,網友們用它生成了數不清的驚嘆作品。
在這個AI作畫工具面前,人和人的差距,或許就體現在prompt上了。
去年在科羅拉多州博覽會藝術比賽上用AI打敗了人類的獲獎者,花了80多個小時,經過900次迭代后,才用Midjourney完成了《太空歌劇院》這一藝術杰作。而ta直接拒絕分享出自己的prompt。
是的,現在很多時候,一行完美又專業的prompt,已經價值千金。
而Midjourney仿佛深知我們的需求,最近,它上線了一個新功能——/describe,可以幫我們從圖像中反推prompt。
從圖像反推prompt
現在,如果你有一個想模仿的圖像,但你不知道要用什么樣的prompt去描述它,這時候,describe就幫你大忙了。比如,下圖是新海誠的《言葉之庭》(「言の葉の庭」)。
拖進圖像后,Midjourney生成了下面四種prompt。
根據這四個prompt,Midjourney又生成了類似風格的四幅圖。
簡直完美。
并且,Midjourney提供的描述也可以激發出用戶的更多靈感。傳統的畫家可能會患有空白畫布綜合征,AI藝術家有時也會詞窮,很難找到描述照片的詞語。
在Midjourney的Discord頻道上,從「/describe」就可以啟動文本描述過程了。
Midjourney提供了一個拖放區,可以讓你拖入圖像。
然后按下回車鍵,就可以等待prompt了。
四個文本提示,包括描述性詞語、樣式詳細信息和縱橫比。寬高比在像素精確度方面與計算機類似,比如如果是一個16:9的圖像,它會輸出504:283。
而四個文本提示生成后,你可以直接點擊按鈕,直接用它們生成圖像,當然,在提交之前,你也可以選擇自己優化提示。
作家的意外收獲?
更有趣的是,Midjourney的這個新功能,竟然意外地讓作家們獲得了幫手。
如果找不到完美的形容詞來描繪一幅畫,只需要把圖像上傳到Midjourney,文采斐然的句子就自動蹦出來了。
而Midjourney返回的文本提示,真是讓人驚喜連連。其中包括「palewave」、「cranberrycore」和「icepunk」等流行語,以及各種藝術家、攝影師和作者的姓名。
而提示中出現人名時,甚至是可點擊的鏈接,可以打開谷歌搜索,如果點擊進去,你或許會獲得更多的靈感來源。
比如,上傳Ross Burgener的一張絕佳的作品,Midjourney會這樣描述:"極光在LED照明的冰屋上跳舞,給雪的顏色帶來了藍色調"。
它認出了北極光,會在提示中給出建議——可參考藝術家Qlexis Gritchenko和攝影師Nathan Wirth。它采用的詞匯包括 「極地冰山」、「發光的天空」和「空靈的雕塑」。
網友們大喜,已玩瘋
現在,網友們已經玩瘋了。
有網友利用describe功能,生成了許多穿白色蕾絲裙的美女。
有人輸入了一堆珠寶的圖像。
得到了如下的prompt。
根據這些prompt生成的圖像如下。
輸入一個二次元萌妹。
輸出的prompt,出圖效果很驚艷。
輸入一只氣質憨憨的大捻角羚的照片。
生成的prompt如下。
輸出的prompt生成的大捻角羚,氣質更為冷峻。
輸入一只海灘上的狗。
Prompt生出了四只埋在坑里的狗。
輸入穿著燕尾服的動漫人物。
生成如下prompt。
生成四張動漫人物。
是RLHF?
可以看到,Midjourney最近的進步,可以用飛速形容。
英偉達AI科學家Jim Fan猜測,Midjourney一直在根據人類反饋(「RLHF」)進行大規模的強化學習,并且,這可能是有史以來規模最大的文本到圖像強化學習。
當用戶選擇放大圖像時,是因為他們更喜歡它。如果不把這個過程當作獎勵信號,那真是巨大的浪費。這些數據收集起來很便宜,而且完全符合用戶群的需求。
擁有的用戶越多,可以做的RLHF就越好,然后獲得的用戶就越多。
他還給出了一個免責聲明,表示這就是自己的一個腦洞,自己并不認識Midjourney的人。
但他們一定已經是這么做的,因為UI的格式看起來就像一個多項選擇題。
最后,要注意的是,同圖像生成一樣,describe功能需要使用積分,所以需要謹慎地考慮。
而且現在,Midjourney的免費功能,已經徹底關閉了。
參考資料:
https://the-decoder.com/midjourney-new-image-tool-works-in-reverse/
https://twitter.com/DrJimFan/status/1643279641065713665