還記得前幾天發布的DragGAN嗎？

沒錯，就是那個「輕輕點兩下」1秒修圖的工具。

拍的照片表情不好？修！臉型不夠瘦？修！臉沖鏡頭的角度不對？修！

搞不好，「讓大象轉個身」這個遠古PS段子，可能就要成真了 

這個AI修圖工具演示視頻一經發布，瞬間在國內外火得一塌糊涂。

許多網友紛紛直呼，「PS不存在了」。

還沒幾天，DragGAN非官方實現竟能上手試用了。這一功能已經被集成到InternGPT中，界面長這樣↓

體驗地址：https://igpt.opengvlab.com/

沒想到，演示入口一開放，直接被擠爆。

官方演示

從官方放出的演示視頻來看，再現的DragGAN效果絕了。

咧嘴笑

先是怎么把一個沒笑的人p笑。只要選中兩個嘴角，直接Drag就好了。

可以看到，最終生成的結果毫無違和感。因為面部肌肉也在一起變化，不是單純的咧嘴。

合上嘴

臉部編輯

這個瘦臉功能大家就太熟悉了，選中兩個臉蛋往里擠，輸出還是非常自然的。

男性瘦臉。不過這個有點瘦過了，輸出結果一眼假，下巴太尖了。

這個必須強推！植發！多少禿頭人士的福音。

不過從輸出結果看，就算選中額頭那里，也是全部地方的毛發等比例增長，最后的結果有點像美猴王。

轉臉

臉部轉動也是一個很實用的功能，補齊的部分非常自然。

其它功能

除了小范圍的修圖，InternGPT本身還有很多其它可以進行的亮眼操作。

移除遮蓋的對象

單擊想要在圖片中進行操作的部分，在prompt中輸入「移除」就可以了。

圖像生成

這個功能比較有意思，先上傳一張圖片，輸入prompt讓DragGAN分割，然后再輸入一個prompt生成想要的圖片。

露出黑腳了？（不是）

視頻高光解說

用prompt還可以一鍵剪輯視頻。

交互式視覺問答

甚至識別完圖片上的信息還能聯網直接查詢。

交互式圖像生成

隨手的涂鴉都能一鍵變成美圖。

反正看完這些功能小編是真震驚了。所有功能就突出兩個特點：「傻瓜式操作，且究極好用」。

這誰能不愛？

技術實現

看了這么多酷炫的功能，那么這個InternGPT到底是什么？

InternGPT（簡稱iGPT）/InternChat（簡稱iChat）是一種基于指向語言驅動的視覺交互系統，用戶可以通過點擊、拖動和繪制與ChatGPT進行互動。

與依賴純語言的現有交互系統不同，通過整合指向指令，iGPT顯著提高了用戶與聊天機器人之間的溝通效率，以及聊天機器人在視覺為中心任務中的準確性，尤其在復雜的視覺場景中更是如此。

論文地址：https://arxiv.org/pdf/2305.05662.pdf

下圖就是InternGPT的整體架構。

我們可以看到，這個GPT既可以處理圖像、視頻，也可以處理語音、文字。

對于圖像或視頻輸入，InternGPT就會用SAM（圖像分割模型）、OCR（圖像識別模型）等等進行處理。

在識別出地理位置、物品或者線條之后，還有一整個工具箱進行進一步處理，其中都是我們耳熟能詳的工具。

比如BLIP（音頻）、Stable Diffusion（圖像）、Pix2Pix（圖像翻譯）等等。

同樣地，對于文字或者語音輸入，InternGPT就會調用GPT-4、LLaMA等模型或工具進行處理，后續同樣有一整個工具箱。

InternGPT的整體架構

使用提示

而在使用過程中，整個流程也是非常方便的。

用戶在圖片上傳成功后，可以發送如下消息與iGPT進行多模態相關的對話：

"what is it in the image?" or "what is the background color of image?".

同樣，用戶也可以交互式地操作、編輯或者生成圖片，具體如下：

· 點擊圖片上的任意位置，然后按下 Pick 按鈕，預覽分割區域。也可以按下 OCR 按鈕，識別具體位置處存在的所有單詞；

· 要在圖像中刪除掩碼區域，可以發送如下消息：

“remove the masked region”

· 要在圖像中替換掩碼的物體為其他物體，可以發送如下消息：

“replace the masked region with {your prompt}”

· 想生成新圖像，可以發送如下消息：

“generate a new image based on its segmentation describing {your prompt}”

· 想通過涂鴉創建新圖像，按下 Whiteboard 并在白板上繪制。繪制完成后，需要按下 保存 按鈕并發送如下消息：

“generate a new image based on this scribble describing {your prompt}”

網友評論

那個令人震驚的DragGAN現在有一個非官方的版本。正式版本將在6月發布，這只是未來的預覽。

DragGAN已經集成到InternGPT了，這么快就出來了，修圖神器。