成人免费xxxxx在线视频软件_久久精品久久久_亚洲国产精品久久久_天天色天天色_亚洲人成一区_欧美一级欧美三级在线观看

使用機器學習來進行卡通上色

人工智能 機器學習
我們可以自動應用簡單的配色方案,而無需手繪幾百個訓練數據示例嗎?監督式機器學習的一個大問題是需要大量的歸類數據,特別是如果你沒有這些數據時——即使這是一個充斥著大數據的世界,我們大多數人依然沒有大數據——這就真的是一個大問題了。

https://s5.51cto.com/oss/201806/14/0ca78c05a5ce974c936cbdb845a51b15.png

我們可以自動應用簡單的配色方案,而無需手繪幾百個訓練數據示例嗎?

監督式機器學習的一個大問題是需要大量的歸類數據,特別是如果你沒有這些數據時——即使這是一個充斥著大數據的世界,我們大多數人依然沒有大數據——這就真的是一個大問題了。

盡管少數公司可以訪問某些類型的大量歸類數據,但對于大多數的組織和應用來說,創造足夠的正確類型的歸類數據,花費還是太高了,以至于近乎不可能。在某些時候,這個領域還是一個沒有太多數據的領域(比如說,當我們診斷一種稀有的疾病,或者判斷一個數據是否匹配我們已知的那一點點樣本時)。其他時候,通過 Amazon Turkers 或者暑假工這些人工方式來給我們需要的數據做分類,這樣做的花費太高了。對于一部電影長度的視頻,因為要對每一幀做分類,所以成本上漲得很快,即使是一幀一美分。

 

大數據需求的一個大問題

我們團隊目前打算解決一個問題是:我們能不能在沒有手繪的數百或者數千訓練數據的情況下,訓練出一個模型,來自動化地為黑白像素圖片提供簡單的配色方案。

在這個實驗中(我們稱這個實驗為龍畫),面對深度學習龐大的對分類數據的需求,我們使用以下這種方法:

  • 對小數據集的快速增長使用基于規則的的策略。
  • 借用 tensorflow 圖像轉換的模型,Pix2Pix 框架,從而在訓練數據非常有限的情況下實現自動化卡通渲染。

我曾見過 Pix2Pix 框架,在一篇論文(由 Isola 等人撰寫的“Image-to-Image Translation with Conditional Adversarial Networks”)中描述的機器學習圖像轉換模型,假設 A 是風景圖 B 的灰度版,在對 AB 對進行訓練后,再給風景圖片進行上色。我的問題和這是類似的,唯一的問題就是訓練數據。

我需要的訓練數據非常有限,因為我不想為了訓練這個模型,一輩子畫畫和上色來為它提供彩色圖片,深度學習模型需要成千上萬(或者成百上千)的訓練數據。

基于 Pix2Pix 的案例,我們需要至少 400 到 1000 個黑白、彩色成對的數據。你問我愿意畫多少?可能就只有 30 個。我畫了一小部分卡通花和卡通龍,然后去確認我是否可以把他們放進數據集中。

 

80% 的解決方案:按組件上色

按組件規則對黑白像素進行上色

按組件規則對黑白像素進行上色

當面對訓練數據的短缺時,要問的第一個問題就是,是否有一個好的非機器學習的方法來解決我們的問題,如果沒有一個完整的解決方案,那是否有一個部分的解決方案,這個部分解決方案對我們是否有好處?我們真的需要機器學習的方法來為花和龍上色嗎?或者我們能為上色指定幾何規則嗎?

如何按組件進行上色

如何按組件進行上色

現在有一種非機器學習的方法來解決我的問題。我可以告訴一個孩子,我想怎么給我的畫上色:把花的中心畫成橙色,把花瓣畫成黃色,把龍的身體畫成橙色,把龍的尖刺畫成黃色。

開始的時候,這似乎沒有什么幫助,因為我們的電腦不知道什么是中心,什么是花瓣,什么是身體,什么是尖刺。但事實證明,我們可以依據連接組件來定義花和龍的部分,然后得到一個幾何解決方案為我們 80% 的畫來上色,雖然 80% 還不夠,我們可以使用戰略性違規轉換、參數和機器學習來引導基于部分規則的解決方案達到 100%。

連接的組件使用的是 Windows 畫圖(或者類似的應用)上的色,例如,當我們對一個二進制黑白圖像上色時,如果你單擊一個白色像素,這個白色像素會在不穿過黑色的情況下變成一種新的顏色。在一個規則相同的卡通龍或者花的素描中,最大的白色組件就是背景,下一個最大的組件就是身體(加上手臂和腿)或者花的中心,其余的部分就是尖刺和花瓣,除了龍眼睛,它可以通過和背景的距離來做區分。

 

使用戰略規則和 Pix2Pix 來達到 100%

我的一部分素描不符合規則,一條粗心畫下的線可能會留下一個缺口,一條后肢可能會上成尖刺的顏色,一個小的,居中的雛菊會交換花瓣和中心的上色規則。

對于那 20% 我們不能用幾何規則進行上色的部分,我們需要其他的方法來對它進行處理,我們轉向 Pix2Pix 模型,它至少需要 400 到 1000 個素描/彩色對作為數據集(在 Pix2Pix 論文里的最小的數據集),里面包括違反規則的例子。

所以,對于每個違反規則的例子,我們最后都會通過手工的方式進行上色(比如后肢)或者選取一些符合規則的素描 / 彩色對來打破規則。我們在 A 中刪除一些線,或者我們多轉換一些,居中的花朵 A 和 B 使用相同的函數 (f) 來創造新的一對,f(A) 和 f(B),一個小而居中的花朵,這可以加入到數據集。

 

使用高斯濾波器和同胚增大到最大

在計算機視覺中使用幾何轉換增強數據集是很常見的做法。例如循環,平移,和縮放。

但是如果我們需要把向日葵轉換為雛菊或者把龍的鼻子變成球型和尖刺型呢?

或者如果說我們只需要大量增加數據量而不管過擬合?那我們需要比我們一開始使用的數據集大 10 到 30 倍的數據集。

向日葵通過 r -> r 立方體方式變成一個雛菊

向日葵通過 r -> r 立方體方式變成一個雛菊

高斯濾波器增強

高斯濾波器增強

單位盤的某些同胚可以形成很好的雛菊(比如 r -> r 立方體,高斯濾波器可以改變龍的鼻子。這兩者對于數據集的快速增長是非常有用的,并且產生的大量數據都是我們需要的。但是他們也會開始用一種不能仿射轉換的方式來改變畫的風格。

之前我們考慮的是如何自動化地設計一個簡單的上色方案,上述內容激發了一個在這之外的問題:什么東西定義了藝術家的風格,不管是外部的觀察者還是藝術家自己?他們什么時候確定了自己的的繪畫風格呢?他們不可能沒有自己畫畫的算法?工具、助手和合作者之間的區別是什么?

 

我們可以走多遠?

我們畫畫的投入可以有多低?保持在一個主題之內并且風格可以辨認出為某個藝術家的作品,在這個范圍內我們可以創造出多少的變化和復雜性?我們需要做什么才能完成一個有無限的長頸鹿、龍、花的游行畫卷?如果我們有了這樣一幅,我們可以用它來做什么?

這些都是我們會繼續在后面的工作中進行探索的問題。

但是現在,規則、增強和 Pix2Pix 模型起作用了。我們可以很好地為花上色了,給龍上色也不錯。

結果:通過花這方面的模型訓練來給花上色。

結果:通過花這方面的模型訓練來給花上色。

結果:龍的模型訓練的訓練結果。

結果:龍的模型訓練的訓練結果。

想了解更多,參與 Gretchen Greene's talk, DragonPaint – bootstrapping small data to color cartoons, 在 PyCon Cleveland 2018. 

責任編輯:龐桂玉 來源: Linux中國
相關推薦

2023-02-03 11:40:49

機器學習分析情感

2022-06-09 09:14:31

機器學習PythonJava

2022-06-05 21:16:08

機器學習Python

2019-09-30 10:12:21

機器學習數據映射

2022-08-15 15:16:20

機器學習圖片深度學習

2022-05-03 09:59:43

網絡釣魚數據集機器學習

2020-10-25 08:59:00

機器學習情緒ML

2022-02-13 00:27:34

機器學習數字隱私技術

2019-11-20 08:00:00

Ocado機器學習

2017-09-17 23:14:41

機器學習人工智能設計

2018-04-24 14:34:54

機器學習機器人互聯網

2021-06-17 10:27:03

人工智能AI機器學習

2024-04-17 08:00:00

2016-01-11 10:44:38

惡意軟件惡意軟件分析

2020-12-25 15:24:24

人工智能

2020-07-24 10:52:45

人工智能

2020-02-03 08:00:00

機器學習人工智能AI

2024-03-01 07:26:49

RustPolars機器學習

2020-07-08 15:43:26

數據機器學習提取

2018-03-27 13:33:48

百度
點贊
收藏

51CTO技術棧公眾號

主站蜘蛛池模板: 国产伦精品一区二区三区照片91 | 成人精品一区二区 | 亚洲第1页 | 天天曰夜夜 | 99在线播放| 成年网站在线观看 | 欧美成人免费在线视频 | 毛片网站在线观看视频 | 91精品国产乱码久久久 | 99久久99热这里只有精品 | 一区二区三区视频在线免费观看 | 成人精品一区二区三区中文字幕 | 久久在线看 | 久久国产精99精产国高潮 | 色影视| 国产精品亚洲一区二区三区在线 | 国产精品久久久久一区二区三区 | 久久久久久久亚洲精品 | 欧美日韩专区 | 欧美日韩精品免费观看 | 免费看a | 女同久久另类99精品国产 | 国产视频一区二区在线观看 | 国产精品免费一区二区三区四区 | 国产一区亚洲 | 中文字幕 欧美 日韩 | 成人免费大片黄在线播放 | 欧美亚洲国语精品一区二区 | 精品久久久久久久 | 欧美另类视频 | 国产精品视频专区 | 精品久久香蕉国产线看观看亚洲 | 黄色免费在线网址 | 在线日韩 | 免费久久久 | 国产一级电影网 | 亚洲精品日韩精品 | 亚洲成人精品一区 | 国产一区二区在线免费观看 | 最新日韩在线视频 | www.亚洲视频.com |