[[417713]]

本文經AI新媒體量子位（公眾號ID:QbitAI）授權轉載，轉載請聯系出處。

AI已經能教你畫油畫了。

隨便給一張圖，筆畫序列秒秒鐘呈現。

比如世界名畫蒙娜麗莎。

亦或是寫實類的小鳥。

還有極具氛圍感的河燈。

總之什么風格都可以駕馭。

這項技術在Reddit上21小時內就已經有600+的點贊量。

究竟是如何打造的呢？

用前饋網絡預測筆畫

神經繪畫，就是為給定的圖像生成一系列筆畫，并使用神經網絡進行繪畫式的真實再現過程。

研究團隊提出了一個基于Transformer的框架，叫做Paint Transformer，用前饋網絡來預測筆畫的參數。

由于當前沒有可用的數據集來訓練Paint Transformer，受物體檢測啟發，研究人員設計了一個自訓練Pipeline。

整個模型由兩個模塊組成：筆畫預測器和筆畫渲染器。

給定目標圖像和中間畫布圖像，筆畫預測器，生成一組參數以確定當前筆畫集。

預測器包含了兩個用于特征嵌入的CNN網路和一個用于參數預測的Transformer。

隨后，筆畫渲染器為筆畫集匯總的每個筆畫，生成筆畫圖像，并將它們繪制到畫，產生結果圖像，大小為512*512。

在DETR（用Transformer進行對象檢測）的基礎上，增加了二進制神經元來預測筆畫是否應該被保留。

這樣它就可以在沒有任何現成的數據集的情況下進行訓練，同時還能實現出色的泛化能力。

實驗表明，這一方法比以前的方法取得了更好的繪畫性能，而且訓練和推理成本更低。

百度南大團隊打造

這項技術由百度、南京大學、羅格斯大學共同打造。

目前代碼已經開源，并在一刻相冊App上應用。

論文地址：
https://arxiv.org/abs/2108.03798
GitHub網址：
https://github.com/wzmsltw/PaintTransformer