隨著社交網(wǎng)絡(luò)、直播以及短視頻的流行，為了給別人留下更好的印象，人臉編輯「美顏」的應(yīng)用范圍越來越廣泛，不斷發(fā)展的科學(xué)技術(shù)使人臉編輯產(chǎn)生了非常多的研究分支。其中，生成對抗網(wǎng)絡(luò)（GAN）的隱空間一直是個(gè)熱點(diǎn)問題，現(xiàn)在越來越多的工作把注意力放在隱碼的操控和隱空間中的語義解耦上。StyleGAN 是一種可生成高質(zhì)量人臉圖像的生成對抗網(wǎng)絡(luò)，其隱空間具有非常好的線性特性。利用 StyleGAN 的這一特征可以實(shí)現(xiàn)高質(zhì)量、應(yīng)用場景廣泛的人臉編輯。但是，如何在改變特定特征的同時(shí)保持其它無關(guān)特征不變，即進(jìn)行特征的解耦，仍然是一個(gè)難題。

為解決這一問題，浙江大學(xué)計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)國家重點(diǎn)實(shí)驗(yàn)室和浙江大學(xué)-騰訊游戲智能圖形創(chuàng)新技術(shù)聯(lián)合實(shí)驗(yàn)室可研究者們提出了訓(xùn)練 StyleGAN 隱空間中精細(xì)的分離邊界的方法，僅用一個(gè)向量就能在保持其它面部特征不變的情況下進(jìn)行語義特征編輯。

以去除雙下巴為例，該方法效果顯著：

圖 1：具有雙下巴的肖像圖像(第一排)，去除雙下巴后的新肖像(第二排)。

該研究的論文《Coarse-to-Fine: Facial Structure Editing of Portrait Images via Latent Space Classifications》已被計(jì)算機(jī)圖形學(xué)頂級(jí)國際學(xué)術(shù)會(huì)議 ACM SIGGRAPH 2021 接收。

論文地址：http://www.cad.zju.edu.cn/home/jin/sig2021/sig2021.htm

研究方向

在 CV 領(lǐng)域里，生成對抗網(wǎng)絡(luò)的隱空間一直是個(gè)熱點(diǎn)問題，現(xiàn)在越來越多的工作把注意力放在隱碼的操控上。InterFaceGAN 探究了生成對抗網(wǎng)絡(luò)的隱空間是怎么進(jìn)行編碼的，并且提出了使用一個(gè)分離邊界對語義屬性進(jìn)行編輯的方法；In-domain GAN 能夠?qū)⑤斎氲膱D像反轉(zhuǎn)到生成對抗網(wǎng)絡(luò)的隱空間中，并且作為正則器對隱碼進(jìn)行微調(diào)，并提出一種語義擴(kuò)散的方法。

鑒于隱空間對于 StyleGAN 研究的重要性，越來越多的工作開始關(guān)注如何高效、高質(zhì)量地將圖像反轉(zhuǎn)回 StyleGAN 的隱空間中，并得到相應(yīng)的隱碼；在此基礎(chǔ)上，基于 StyleGAN 的投影器可以將圖像直接反轉(zhuǎn)回隱空間，從而進(jìn)行圖像到圖像的轉(zhuǎn)換，實(shí)現(xiàn)人臉姿態(tài)改變、人臉之間的線性插值等等功能，Image2StyleGAN 能夠?qū)D像反轉(zhuǎn)回隱空間并且進(jìn)行語義編輯。

將隱碼和 3D 模型結(jié)合也可以參數(shù)化調(diào)整人臉特征，GIF 在一種生成 3D 人臉模型（FLAME）上應(yīng)用 StyleGAN，從而對生成的圖像進(jìn)行顯式控制；StyleRig 則基于 StyleGAN 和 3DMM 進(jìn)行面部綁定控制，參數(shù)化調(diào)整人臉。

研究思想

新研究的核心思想是訓(xùn)練 StyleGAN 隱空間中精細(xì)的分離邊界。分離邊界是由 InterFaceGAN 提出的一種隱空間中的超平面，但是 InterFaceGAN 訓(xùn)練出的分離邊界無法分離無關(guān)特征。本文提出精心設(shè)計(jì)的訓(xùn)練流程，生成成對的僅有特定特征改變的隱碼（在去除雙下巴的例子中，這些隱碼除了有無雙下巴外，其它特征基本保持一致），從這些成對隱碼中訓(xùn)練精細(xì)的分離邊界，從而實(shí)現(xiàn)面部結(jié)構(gòu)編輯。

該研究首先訓(xùn)練一個(gè)雙下巴分類器，根據(jù)雙下巴的有無，對 StyleGAN 的隱空間中的隱碼進(jìn)行評分，隨后使用隨機(jī)采樣的隱碼及其對應(yīng)的下巴評分進(jìn)行訓(xùn)練，得到一個(gè)粗糙的分離邊界，用來合成沒有雙下巴的中間肖像。在這過程中，其它面部特征，如人臉形狀和姿勢，在被粗糙的分離邊界編輯后不能很好地保存。

為了解決這一問題，該研究引入了一種語義擴(kuò)散方法，利用能將雙下巴特征從其它特征中分離出來的頸部掩膜，將中間人像的新下巴的語義擴(kuò)散到原始圖像中，從而得到?jīng)]有雙下巴且保持了面部特征的肖像圖像及其對應(yīng)的隱碼。最后，該研究利用成對的有雙下巴和沒有雙下巴的隱碼訓(xùn)練出一個(gè)精細(xì)的雙下巴分離邊界。

在測試階段，利用精細(xì)的雙下巴分離邊界編輯輸入的隱碼，并且用圖像形變算法優(yōu)化輸入和輸出的圖像在人臉邊緣處細(xì)微的錯(cuò)位（misalignment），得到最終結(jié)果。

圖 2：該研究的流程圖，詳情請參見論文原文。

結(jié)果展示

該研究在大量的肖像圖像上測試了方法的性能，這些肖像圖像有不同的性別、姿勢、臉部形狀、膚色。圖 3 展示了由該研究提出的方法自動(dòng)生成的結(jié)果。

以去除雙下巴為例，該方法可成功地去除輸入肖像圖像的雙下巴，同時(shí)很好地保持其它特征不變。

圖 3：該研究的結(jié)果。前四行為參數(shù)連續(xù)調(diào)整的結(jié)果，后四行的每對圖像中，左圖為原圖，右圖為得到的結(jié)果。

與當(dāng)前最優(yōu)的面部編輯方法（SOTA）相比，該研究產(chǎn)生了更穩(wěn)定和合理的結(jié)果，保持了面部特征的不變性，并且符合人臉結(jié)構(gòu)。

圖 4：方法對比。第一行為輸入肖像圖像，第二行為 MaskGAN 的結(jié)果，第三行為 SC-FEGAN 的結(jié)果，第四行為 Generative Inpainting 方法的結(jié)果，最后一行為我們方法的結(jié)果。

研究人員希望該研究能夠?yàn)槿四樉庉嫀硇碌乃悸罚瑫r(shí)希望給 StyleGAN 的隱空間研究帶來啟發(fā)。

作者簡介

論文第一作者吳奕謙，女，21 歲，浙江大學(xué)大四本科生，將在今年 9 月于浙江大學(xué) CAD&CG 國家重點(diǎn)實(shí)驗(yàn)室直接攻讀博士。研究方向是計(jì)算機(jī)視覺、人臉編輯。

個(gè)人主頁：https://onethousandwu.com/

論文作者楊永亮，英國巴斯大學(xué)副教授。2009 年于清華大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)系獲得博士學(xué)位，2009-2011 年為阿卜杜拉國王科技大學(xué) (KAUST) 博士后研究員，2011 年 9 月至 2014 年 8 月在 KAUST 視覺計(jì)算中心擔(dān)任助理研究員。發(fā)表 Siggraph、Siggraph Asia 論文 9 篇。主要研究方向?yàn)閿?shù)字幾何處理、虛擬現(xiàn)實(shí)和人工智能。

個(gè)人主頁：http://www.yongliangyang.net/

論文作者肖欽杰，浙江大學(xué) CAD&CG 國家重點(diǎn)實(shí)驗(yàn)室博士研究生，本科畢業(yè)于浙江大學(xué)數(shù)學(xué)系，研究方向是三維人臉重建、評估與編輯。

論文通訊作者金小剛，浙江大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院教授，博士生導(dǎo)師。“十三五”國家重點(diǎn)研發(fā)計(jì)劃首席科學(xué)家，浙江大學(xué) - 騰訊游戲智能圖形創(chuàng)新技術(shù)聯(lián)合實(shí)驗(yàn)室主任，浙江省虛擬現(xiàn)實(shí)產(chǎn)業(yè)聯(lián)盟理事長，中國計(jì)算機(jī)學(xué)會(huì)虛擬現(xiàn)實(shí)與可視化專委會(huì)副主任委員，杭州錢江特聘專家。第九屆霍英東青年教師基金、浙江省杰出青年基金獲得者，入選教育部新世紀(jì)優(yōu)秀人才支持計(jì)劃。在 ACM TOG (Proc. of Siggraph)、IEEE TVCG 等國際重要學(xué)術(shù)刊物上發(fā)表論文 140 多篇。2008 年獲教育部高等學(xué)校科學(xué)研究優(yōu)秀成果獎(jiǎng)自然科學(xué)獎(jiǎng)一等獎(jiǎng)，2017 年獲浙江省科技進(jìn)步二等獎(jiǎng)，2015 年獲美國 ACM Recognition of Service Award 獎(jiǎng)。獲國際計(jì)算機(jī)動(dòng)畫學(xué)術(shù)會(huì)議 CASA'2017、CASA'2018 最佳論文獎(jiǎng)，《計(jì)算機(jī)真實(shí)感圖形的算法基礎(chǔ)》獲 2001 年國家科技圖書二等獎(jiǎng)。

個(gè)人主頁：http://www.cad.zju.edu.cn/home/jin/