本文經(jīng)AI新媒體量子位（公眾號(hào)ID:QbitAI）授權(quán)轉(zhuǎn)載，轉(zhuǎn)載請(qǐng)聯(lián)系出處。

ChatGPT會(huì)畫畫了！

問(wèn)它：能生成一張貓片給我嗎？

立刻連文帶圖全有了。

還能根據(jù)新的文字指令調(diào)整圖片：把貓換成狗。

同時(shí)也看得懂圖、有理解能力。

比如發(fā)一張圖給它，然后問(wèn)摩托是什么顏色？它能回答出是黑色。

如上，就是由MSRA資深研究人員們提出的視覺(jué)版ChatGPT（Visual ChatGPT）。

通過(guò)給ChatGPT結(jié)合多種視覺(jué)模型，并利用一個(gè)提示管理器（Prompt Manager），他們成功讓ChatGPT可以處理各種視覺(jué)任務(wù)。

這項(xiàng)工作一發(fā)出來(lái)就火了，GitHub攬星已超過(guò)1.5k。

簡(jiǎn)單總結(jié)一下，就是把GPT和Dall-E合并的感覺(jué)~

又懂文字又會(huì)畫圖……有人就說(shuō)：

這不是終極meme圖制造機(jī)？

訣竅在于提示工程？

Visual ChatGPT，其實(shí)就是讓ChatGPT可以處理多模態(tài)信息。

但是從頭訓(xùn)練一個(gè)多模態(tài)模型，工作量非常大。

研究人員想到可以在ChatGPT的基礎(chǔ)上，結(jié)合一些視覺(jué)模型。

而想要達(dá)到這一目的，關(guān)鍵需要一個(gè)中間站。

由此他們提出了提示管理器（Prompt Manager）的概念。

它的作用主要有3方面：

第一、明確告訴ChatGPT，每個(gè)視覺(jué)模型的作用，并指定好輸入輸出格式。

第二、轉(zhuǎn)換不同的視覺(jué)信息，如將PNG圖像、深度圖像、掩碼矩陣等轉(zhuǎn)換為語(yǔ)言格式，方便ChatGPT理解。

第三、處理視覺(jué)模型的歷史生成結(jié)果，以及不同模型的調(diào)用優(yōu)先級(jí)、規(guī)避沖突等，讓ChatGPT能夠以迭代的方式接收視覺(jué)模型的生成內(nèi)容，直到輸出用戶滿意的結(jié)果。

這樣一來(lái)，Visual ChatGPT的工作流大概長(zhǎng)這樣：

假如用戶輸入了一張圖，模型會(huì)先將內(nèi)容發(fā)送給提示管理器，然后轉(zhuǎn)換成語(yǔ)言給ChatGPT判斷，當(dāng)它發(fā)現(xiàn)這個(gè)問(wèn)題不需要調(diào)用視覺(jué)模型，就會(huì)直接給出輸出（第一個(gè)回答）。

第二個(gè)問(wèn)題時(shí)，ChatGPT分析問(wèn)題內(nèi)容需要使用視覺(jué)模型，就會(huì)讓視覺(jué)模型開(kāi)始執(zhí)行，然后一直迭代，直到ChatGPT判斷不再需要調(diào)用視覺(jué)模型時(shí)，才會(huì)輸出結(jié)果。

論文介紹，Visual ChatGPT中包含了22個(gè)不同的視覺(jué)模型。包括Stable Diffusion、BLIP、pix2pix等。

為了驗(yàn)證Visual ChatGPT的能力，他們還進(jìn)行了大量零次試驗(yàn)（zero-shot experiments）。

結(jié)果如開(kāi)頭所示，Visual ChatGPT具備很強(qiáng)的圖像理解能力。

可以一直按照人的需求不斷生成、修改圖片。

當(dāng)然，研究人員也提到了這項(xiàng)工作目前還存在一些局限性。

比如生成結(jié)果的質(zhì)量，主要取決于視覺(jué)模型的性能。

以及使用大量的提示工程，會(huì)一定程度上影響生成結(jié)果的速度。而且還可能同時(shí)調(diào)用多個(gè)模型，也會(huì)影響實(shí)時(shí)性。

最后，在輸入圖片的隱私安全上，還需要做進(jìn)一步升級(jí)保護(hù)。

MSRA老將出馬

本項(xiàng)研究成果來(lái)自微軟亞洲研究院的團(tuán)隊(duì)。

通訊作者是段楠。

他是MSRA首席研究員，自然語(yǔ)言計(jì)算組研究經(jīng)理，中國(guó)科學(xué)技術(shù)大學(xué)兼職博導(dǎo)，天津大學(xué)兼職教授，CCF杰出會(huì)員。

主要從事自然語(yǔ)言處理、代碼智能、多模態(tài)智能、機(jī)器推理等研究。

2006年加入MSRA，任職已超16年。

第一作者Chenfei Wu，同樣是一位資深研究人員了。

據(jù)領(lǐng)英資料顯示，他于2012年加入微軟，任職11年，目前是一位軟件工程師。

論文地址：https://arxiv.org/abs/2303.04671