作者 | 王瑞平
審校 | 云昭
51CTO讀者成長計劃社群招募，咨詢小助手（微信號：CTOjishuzhan）
最近出現的人工智能產品五花八門、功能各異，從文本輸出到繪畫、視頻、音頻。這些人工智能工具將藝術創作變得形象生動，展現出用AI描繪的另一個世界。
繪畫作為一種熟悉而有趣的表達方式，能夠將生活變得色彩斑斕。在創作繪畫的同時，我們同樣希望將討人喜歡的靜態角色變成動畫，使其能夠在書頁上“走動”，甚至還有書籍和電視劇講述了這種幻想。
不幸的是，實現這樣的效果相當困難！通過創建圖形產生運動錯覺(如，翻頁書)呈現出的效果往往很乏味，新用戶使用現有的動畫工具又很困難。因此，許多繪畫角色仍在紙面上保持靜態。
前不久，Meta團隊腦洞大開，運用人工智能技術成功將手繪涂鴉變成了栩栩如生的動畫。
這款開源AI動畫繪圖工具（Animated Drawings）是由Meta AI基礎人工智能研究團隊（FAIR）發布的。該工具用AI技術輕松讓各種人物涂鴉變成動畫，旨在幫助創作者和開發人員輕松將繪圖變成動畫產品。
據悉，該項目始于2021年。當時，FAIR的研究人員旨在將計算機視覺變得更直觀，將繪畫中的人物形象動畫化。
1、讓AI模型讀懂繪畫
普通人能夠輕松看懂繪畫，但這對于AI模型來講卻沒那么容易。
為了讓AI模型能夠“讀懂”繪畫，FAIR的研究者首先運用目標檢測模型、姿勢估計模型和基于圖像處理的分割方法快速創建數字版本的繪畫。然后，他們使用傳統的計算機繪圖技術將這些數字版本的繪畫變形和動畫化。
但是，這種方法具有一定的缺陷，即很難獲得訓練計算機視覺模型所需規模的人物畫集。并且，這些畫集還需要被標注好邊界框、分割掩碼、關節位置等信息，根本不存在這樣的數據集！
另一種讓AI模型“讀懂”繪畫的方法是綜合創建繪圖。這種方法也存在問題，即，生成方法需要大量樣本數據來學習、風格遷移方法無法捕捉到繪圖與照片的所有細微差別，而且可能做不出像紙張折痕、擦除的線條、強光和陰影等實際繪圖中呈現出的變化。
為此，FAIR團隊將單張圖形生成動畫的任務構建為人體圖形檢測、分割、姿勢估計和動畫等一系列子任務，并創建出動畫繪圖演示功能。該功能以公眾可訪問的網站形態呈現，創作者可在瀏覽器上公開訪問這個動畫繪圖演示網站，還可以上傳他們的繪圖，查看或修正一些模型預測，并在不到1分鐘的時間內接受到用繪圖中的角色創建出的動畫。
2、用戶：期待更全面的AI繪圖工具
作為接下來的流程之一，用戶可以自由選擇允許或不允許Meta保留圖像和注釋，無論用戶作何選擇都不會影響該工具未來的使用。研究人員希望通過該功能最終收集到1萬張圖紙，用來提升模型的功能。
用戶對此表現的非常積極。他們在最初的幾個月里就上傳并同意使用超過160萬張圖片。而且很多上傳的圖片根本不是業余畫作，而是公司徽標、毛絨玩具、動漫人物、寵物、可動人偶以及人們想要制作動畫的各種其他事物的圖片。
雖然在演示功能的說明中指定需要呈現出人物形象，但用戶還是上傳了四足動物、鳥、魚等其它形象。他們還在社交媒體帖子和演示中的Bug報告中表達，希望獲得具有更全面功能的工具。這些功能包括：透明背景、支持不同的骨骼類型、多個交互角色、音效、背景風景和文本疊加等。
感受到大家將繪圖變成動畫的熱情后，Meta決定將動畫繪圖演示功能使用的模型和代碼的開源版本發布出來，激勵更多開發者嘗試和體驗。
3、將手繪人物變成動畫
如果用戶需要將創作出的人物繪畫角色變成動畫，可以在瀏覽器登陸Animated Drawings網站。
上傳繪圖后，用戶可以選擇調整檢測到的邊界框、分割蒙版和關節位置，并選擇一個動作制作動畫。
首先，用戶需要上傳人物形象繪圖，它需要畫在一張沒有線條與褶皺的白紙上，并保證光線充足。畫像中的手臂和腿不能疊放在身體上，同時不能侵權。
然后，你需要調整角色周圍框的大小，確保它正好框住角色。下一步，你需要將角色從背景中分離出來，并突出顯示它。第四步，檢查角色的關節。
最后一步便是用動作捕捉數據將上傳的角色動畫化。你可以任意選擇想讓這個角色做出的動作。
4、自己運行開源代碼
要是你想自己下載和運行代碼，GitHub提供了指引步驟。
需要注意的是，Meta的動畫繪圖項目已經在macOS Ventura 13.2.1和Ubuntu 18.04上進行了測試。如果在其它操作系統上安裝，可能會遇到問題。
因此，Meta建議先激活Python虛擬環境，比如，用Conda的Miniconda，然后按照下述步驟下載安裝。
首先運行如下命令：
然后，你就可以制作動畫了。如果一切都正確安裝，屏幕上將出現一個交互式窗口。角色、動作、場景等都由配置文件控制。你可以通過改變配置文件，導出MP4視頻、動圖等不同格式文件。
此外，Meta還訓練了人形圖形檢測器和姿態估計器，并提供了從模型預測自動生成標注文件的腳本。為了讓它工作，你需要設置一個運行TorchServe的Docker容器，GitHub上有詳細的設置步驟說明。
設置完成后，只需輸入如下命令，就能立即將圖像轉化成動畫：
5、寫在最后AI技術開源，激活創造力
繪畫是一種特殊的語言，將你的想象力變成栩栩如生的形象。你可以通過自由的創作記錄下天馬行空的想法，讓別人讀懂你的內心世界。而用AI技術將這些靜態的圖片秒轉動畫，則將進一步打開想象力之門。
Meta也正是通過將項目代碼和業余繪畫數據集開源，為更多有興趣參與這類研究及體驗的研究人員及創作者們降低開發門檻，使更多人能夠更輕松地探索用AI技術創造出的另一個世界。
Meta在一篇博文中寫道：“通過將模型和代碼作為開放源碼發布，為開發者提供了一個起點，使他們能夠建立和擴展該項目，并促進社區內用戶的創新和協作。”
參考資料：
??https://baijiahao.baidu.com/s?id=1763153584880974511&wfr=spider&for=pc??
