皺眉細節完美復刻，阿爾伯塔大學團隊的項目生成超逼真的肖像畫
深度卷積神經網絡已經被廣泛用于顯著目標檢測，并獲得了 SOTA 的性能。在 CVPR 2019 的一篇論文中，來自加拿大阿爾伯塔大學的研究者曾提出了邊界感知顯著目標檢測網絡 BASNet，并衍生出了一系列流行的工具。今年，該團隊又提出了一種用于肖像畫生成的深度網絡架構 U^2-Net，不僅所需的計算開銷較少，而且生成肖像畫具有豐富的細節。該論文被 ICPR 2020 會議接收。
從人臉圖片生成藝術肖像畫的 AI 應用不在少數，但效果驚艷的不多。上面這張圖片中的輸入 - 輸出結果，來源于一個 GitHub 熱門項目 U^2-Net (U square net)，開源至今已經獲得了 1.7K 的 star 量。
這項研究來自阿爾伯塔大學的一個團隊，論文此前已被國際模式識別大會 ICPR 2020 會議接收。
- 論文鏈接：https://arxiv.org/pdf/2005.09007.pdf
- 項目地址：https://github.com/NathanUA/U-2-Net
最近，研究者又將其應用于人臉肖像畫的生成中，并基于 APDrawingGAN 數據集為此類任務訓練了新的模型。不管是兒童肖像還是成年男性、成年女性，都能獲得相當細致的生成結果：
近年來，顯著性目標檢測廣泛應用于視覺跟蹤和圖像分割等領域。隨著深度卷積神經網絡（CNN）的發展，尤其是全卷積網絡（FCN）在圖像分割領域的興起，顯著性目標檢測技術得到了明顯的改善。
大多數 SOD 網絡的設計都有一個共同的模式，也就是說，它們專注于充分利用現有的基礎網絡提取的深度特征，例如 Alexnet、VGG、ResNet、ResNeXt、DenseNet 等。但這些主干網絡最初都是為圖像分類任務設計的。它們提取代表語義含義的特征，而不是代表局部性細節或全局對照信息，這對于顯著性目標檢測至關重要。并且這些網絡通常需要在 ImageNet 數據上進行預訓練，效率比較低。
為了解決這個問題，阿爾伯塔大學的研究者提出了 U^2-Net。研究團隊在論文中介紹，U^2-Net 是一個簡單而強大的深度網絡架構，其架構是兩層嵌套的 U 形結構。該研究提出的 ReSidual U-block（RSU）中混合了不同大小的接收域，因此它能夠從不同尺度中捕獲更多的語境信息。此外，RSU 中使用了池化操作，因此在不顯著增加計算成本的情況下，也能夠增加整個架構的深度。
方法
在方法部分，研究者不僅詳細闡釋了其提出的殘差 U-block 以及利用該 U-block 構建的嵌套 U 形架構，而且還描述了該網絡的監督策略和訓練損失。
殘差 U-block
受到 U-Net 網絡的啟發，研究者提出了新型殘差 U-block（ReSidual U-block, RSU），以捕獲階段內的多尺度特征。RSU-L (C_in, M, C_out)的結構如下圖 2 (e)所示，其中 L 表示編碼器中的層數，C_in、C_out 分別表示輸入和輸出通道，M 表示 RSU 內層通道數。
本研究提出的 RSU 與現有其他卷積塊的結構對比
具體而言，RSU 主要有三個組成部件，分別是一個輸入卷積層、一個高度為 L 的類 U-Net 對稱編碼器 - 解碼器結構以及一個通過求和來融合局部和多尺度特征的殘差連接。
為了更好地理解設計理念，研究者在下圖 3 中對 RSU 與原始殘差塊進行了比較。結果顯示，RSU 與原始殘差塊的最大區別在于 RSU 通過一個類 U-Net 的結構替換普通單流卷積，并且通過一個由權重層轉換的局部特征替換原始特征。
更值得注意的是，得益于 U 形結構，RSU 的計算開銷相對較少，因為大多數運算在下采樣特征圖中應用。下圖 4 展示了 RSU 與其他特征提取模塊的計算成本曲線圖：
U^2-Net 架構
研究者提出了一種用于顯著目標檢測的新型堆疊 U 形結構 U^n-Net。從理論上講，n 可以設置成任意正整數，以構建單級或多級嵌套 U 形結構。研究者將 n 設置為 2 以構建二級嵌套 U 型結構 U^2-Net，具體如下圖所示：
具體而言，U^2-Net 主要由三部分組成：（1）6 階段編碼器；（2）5 階段解碼器；（3）與解碼器階段和最后編碼器階段相連接的顯著圖融合模塊。
總的來說，U^2-Net 的設計構建了具有豐富多尺度特征以及較低計算和內存成本的深度架構。此外，由于 U^2-Net 架構僅在 RSU 塊上構建，并且沒有使用任何經過圖像分類處理的預訓練主干網絡，所以在性能損失不大的情況下 U^2-Net 可以靈活且方便地適應不同的工作環境。
監督
在訓練過程中，研究者使用了類似于整體嵌套邊緣檢測（Holistically-nested edge detection, HED）的深度監督算法。訓練過程定義如下：
訓練過程努力將上述公式 (1) 的整體損失最小化。在測試過程中，研究者選擇將融合輸出 l_fuse 作為最終顯著圖。
實驗
研究者在 DUTS-TR 上訓練了 U^2-Net 網絡，該數據集包含 10553 張圖片，是目前最大和最常用的顯著目標檢測數據集。研究者對數據進行了水平翻轉，總共獲得了 21106 張訓練圖像。在評估階段，研究者使用了 DUTOMRON、DUTS-TE、HKU-IS、ECSSD、PASCAL-S、SOD 六個常用的基準數據集來評估方法。
控制變量研究
實驗從三個方面來驗證 U^2 -Net 的效果：基本塊、架構和主干網絡。
表 2：不同模塊的控制變量實驗結果。“PLN”、 “RES”、 “DSE”、“INC”、“PPM” 和 “RSU” 分別代表普通卷積塊、殘差塊、 密集塊、初始化塊、金字塔池化模型和殘差 U-block。粗體字代表的是性能最佳的兩種。
不同方法性能對比
下表 3 展示了在 DUT-OMRON、DUTS-TE、HKU-IS 三個數據集上，本文方法與其他 20 種 SOTA 方法的對比。紅、綠、藍分別代表了性能上的最佳、第二和第三。
下表 4 展示了在 ECSSD、PASCAL-S 和 SOD 三個數據集上的方法對比結果。
下圖 7 展示了本文方法與其他 7 種 SOTA 方法定性比較的結果。(a) 是原圖， (c)是本文方法的生成結果。
研究團隊
該研究的第一作者秦雪彬，目前是加拿大阿爾伯塔大學的一名計算機科學在讀博士，共同作者還包括 Zichen Zhang、Chenyang Huang、Masood Dehghan、Osmar R. Zaiane 和 Martin Jagersand。
左起：秦雪彬、Zichen Zhang、Chenyang Huang。
此前，機器之心也介紹過秦雪彬等研究者在顯著目標檢測方面的另一篇論文《BASNet: Boundary-Aware Salient Object Detection》，該論文被 CVPR 2019 接收。研究公布后，業界隨之誕生了許多基于 BASNet 的圖像處理工具，比如「隔空移物」神器 AR Cut & Paste、在線摳圖程序「ObjectCut」等。
