大廠們在整活方面開始卷起來了！

前腳字節阿里的工具火了，現在騰訊這個新照片生成應用PhotoMaker直接刷屏，瞧這陣仗……

只需上傳一張或以上照片，無需額外LoRA訓練，就能快速可定制。任何人、任何風格，高保真那種。

于是秒秒鐘，LeCun化身鋼鐵俠。但隨后LeCun轉發表示：那個文藝復興時期的繪畫風格是他最喜歡的。

楊冪各類風格寫真爆出。

除此之外，還有更多有意思的功能，目前應用Demo已免費開放體驗。

這就來提前體驗一把。

PhotoMaker刷屏

總結來看，PhotoMaker主要有這樣三大功能：

第一個，可以根據描述生成多種風格個人照片。

比如，你見過這樣的黑寡婦嗎？

就是在二次元里也行的照片，也可以生成。

第二個，混合不同人物特征，生成全新人物形態。

腦洞大開一下，奧特曼和喬布斯“生”的孩子，可能長這樣？？？

甚至還可以破次元結合！

除此之外，還有一些小細節的功能，修改個年齡、性別以及照片年代啥的。

小時候的馬斯克，你見過嗎？

當LeCun變成幾十歲大媽……

目前，研究團隊給了兩個體驗版本：官方原版以及風格化版本。其中風格化版，要想實現更好的效果，僅需要更改基礎模型并添加LoRA模塊。

不過這兩個版本食用起來沒有任何區別，主要分為三個步驟。

首先，上傳你想定制的照片。一張可以，多張也行。

值得注意的是，他們這里強調了，他們不會進行人臉檢測，但上傳的圖片人臉已經要占據圖片大部分。

其次，輸入文字提示，確保在要定制的類別詞后面加上觸發詞：img。

如：男人 img 或女人 img 或女孩 img。

然后再選擇喜歡的樣式、風格模版，就可以生成了。

不過現在實測，效果會出的比較慢，可能是太多人使用了。

如何實現?

簡單來說，PhotoMaker采用了一種簡單而有效的表示方法——堆疊ID嵌入。

它可將多個身份證明（ID）圖像的信息合并成統一的數據結構，這樣能更好保存單個ID信息的同時，還能整合多個不同ID特征。

具體而言，首先，分別從文本編碼器和圖像編碼器中獲取文本嵌入和圖像嵌入。然后，通過合并相應的類別嵌入（比如性別）和每個圖像嵌入，提取融合嵌入。接著，沿長度維度串聯所有融合嵌入，形成堆疊ID嵌入。最后再將其輸入到Diffusion Model生成圖像。

由于訓練過程需要使用按ID分類的數據集，但現有數據集要么沒有注釋ID信息，要么所包含的場景豐富度有限，比如只關注面部區域。

為此，研究人員還專門構建了一個以ID為導向的文本圖像數據集構建管線，它能按照不同ID進行分類。每個ID都有多幅圖像，這些圖像包括不同的表情、屬性、場景等。

需要注意的是，雖然訓練過程中使用的是帶背景遮蔽的同一ID圖像，但在推理過程，可直接輸入不同ID、且不帶背景遮蔽的圖形，來創建新ID。

實驗結果表明，與其他方法相比，PhotoMaker具備高質量和多樣化的生成能力，以及可編輯性、保真性。

此外，這一方法還能實現更多以往難實現的有趣功能。比如改變年齡或性別、將舊照片或藝術作品中的人物還原到現實中以及身份混合等。

好了，感興趣的朋友可戳下方鏈接玩玩~
https://huggingface.co/spaces/TencentARC/PhotoMaker
https://huggingface.co/spaces/TencentARC/PhotoMaker-Style
論文鏈接：
https://arxiv.org/abs/2312.04461
項目鏈接：
https://github.com/TencentARC/PhotoMaker?tab=readme-ov-file#start-a-local-gradio-demo