天價(jià)耶穌像是達(dá)·芬奇畫的?美國(guó)夫婦開發(fā)AI程序,CNN檢測(cè)藝術(shù)偽造
去年,美國(guó)一對(duì)夫婦(Steven 和 Andrea Frank)開發(fā)了一個(gè)AI程序,用來(lái)幫助專家鑒定藝術(shù)品。
之前,他們用這個(gè)AI程序辨別了倫勃朗和梵高的畫作。
最近,兩人又將目光轉(zhuǎn)向了達(dá)·芬奇的畫作《救世主》(Salvator Mundi)。

這幅畫是拍賣市場(chǎng)迄今為止成交的最貴的藝術(shù)品,2017年以4.5 億美元(約合29億人民幣)在紐約佳士得夜拍上成交。
然而,這究竟是不是達(dá)·芬奇所畫,至今都還有人懷疑。
利用CNN檢測(cè)藝術(shù)偽造:從解決問(wèn)題出發(fā)
夫妻二人開發(fā)AI程序的過(guò)程可謂是條理清晰,發(fā)現(xiàn)問(wèn)題,解決問(wèn)題。
首先,他們分析了使用神經(jīng)網(wǎng)絡(luò)分析繪畫的困難。
一是尺寸,一幅畫的高分辨率圖像對(duì)于傳統(tǒng)的 CNN 來(lái)說(shuō)太大了,而適合 CNN 的圖像又可能缺乏需要辨別的信息。
二是數(shù)據(jù),神經(jīng)網(wǎng)絡(luò)需要數(shù)千個(gè)訓(xùn)練樣本,「數(shù)量就是質(zhì)量。」可是,即便是最多產(chǎn)的藝術(shù)家,一輩子也畫不出這么多畫。
意識(shí)到困難后,兩人感慨,「難怪在解決繪畫歸屬的爭(zhēng)議上,計(jì)算機(jī)貢獻(xiàn)甚微。」
放棄是不可能的!Steven很快發(fā)現(xiàn),可像病理學(xué)家處理數(shù)字化活檢載玻片那樣,將圖像分解成更小的片段。
這樣,尺寸和數(shù)據(jù)這兩個(gè)困難都解決啦。因?yàn)閱蝹€(gè)圖像可以生成大量訓(xùn)練圖塊,尤其是當(dāng)這些圖塊可以重疊時(shí)。
另外,他們的系統(tǒng)通過(guò)訓(xùn)練和測(cè)試后,可以確定圖塊的最佳尺寸。

倫勃朗《年輕的紳士肖像》的 400×400 像素圖塊
接下來(lái),確定哪些圖塊可以使用。
這也是個(gè)難題,比如,《救世主》有的區(qū)域圖片信息十分豐富,而有的區(qū)域則只是背景,平平無(wú)奇,不好分辨。
訓(xùn)練CNN時(shí),信息少的區(qū)域可能起不了什么作用,甚至還會(huì)誤導(dǎo)CNN。
所以,計(jì)算機(jī)需要某種標(biāo)準(zhǔn)來(lái)幫助自動(dòng)且一致地識(shí)別可行的圖塊。
一番思考后,Steven從信息論得到了啟發(fā),他發(fā)現(xiàn),挑選背景和視覺單調(diào)區(qū)域時(shí)可以排除低熵的圖塊。
信息論創(chuàng)始人克勞德·香農(nóng)(Claude Shannon)
結(jié)果是,計(jì)算機(jī)選出來(lái)的圖塊很可能和人們自己挑選的圖塊吻合。
在《救世主》中,選出來(lái)的圖塊包括耶穌的臉、側(cè)卷發(fā)和祝福之手,這和學(xué)者們爭(zhēng)論著作權(quán)時(shí)的關(guān)注點(diǎn)是一致的。

這個(gè)問(wèn)題解決后,就該數(shù)據(jù)集了。
他們決定先從荷蘭大師倫勃朗(Rembrandt) 的肖像畫開始實(shí)驗(yàn)。
這個(gè)數(shù)據(jù)集應(yīng)當(dāng)包倫勃朗本人和其他人的畫作。
但是,問(wèn)題又來(lái)了。
如果用50 幅倫勃朗畫的肖像,和 50 幅隨機(jī)選擇的其他藝術(shù)家的肖像畫作,訓(xùn)練出的系統(tǒng)可以區(qū)分倫勃朗和畢加索(兩人風(fēng)格大相徑庭),但是難以分辨出他的學(xué)生和模仿者,更不用說(shuō)偽造者了。
可是,如果在訓(xùn)練集中,所有不是倫勃朗畫的作品都和他本人畫的太過(guò)相似,CNN 就會(huì)過(guò)擬合。
這時(shí)候Andrea上場(chǎng)了,她編了一個(gè)非倫勃朗畫作的數(shù)據(jù)集。
其中,一些作品非常接近倫勃朗本人畫的,另一些則是令人能聯(lián)想到倫勃朗但很容易與他本人的作品區(qū)分開來(lái)的。
他們還發(fā)現(xiàn),簡(jiǎn)單的 CNN 設(shè)計(jì)比更復(fù)雜(也是更常見)的設(shè)計(jì)效果更好。
因此,他們使用的CNN只有五層。在區(qū)分倫勃朗畫作的實(shí)驗(yàn)中,準(zhǔn)確率超過(guò) 90%。
區(qū)分文森特·梵高(Vincent van Gogh)的風(fēng)景畫時(shí),精度也非常高。
做完這一系列工作,兩人才用這個(gè)AI系統(tǒng)來(lái)辨別《救世主》。
因?yàn)椋@是一個(gè)更大的挑戰(zhàn),達(dá)·芬奇留存下來(lái)的畫作數(shù)量太少了,只有不到 20 幅,其中一些還是未完成的草圖…
不過(guò)最終,他們獲得了合理的圖塊分類,并生成了一個(gè)極有說(shuō)服力的概率圖。
結(jié)果顯示,畫作背景和祝福之手存疑。這和專家們的意見是一致的。
這幅畫曾經(jīng)過(guò)廣泛修復(fù),包括對(duì)背景完全重新粉刷。另外,專家們對(duì)誰(shuí)畫了祝福之手意見不一。
至于CNN 究竟是如何找到關(guān)鍵細(xì)節(jié)的,Steven說(shuō),他也不知道。
「CNN的中間部分是一系列卷積層,可以逐步分解圖像的細(xì)節(jié),再以某種不可思議的方式進(jìn)行分類。」
夫妻同心,齊力建CNN
出人意料的是,Steven 并不是計(jì)算機(jī)科學(xué)家,而是摩根路易斯律師事務(wù)所(Morgan Lewis )的一名知識(shí)產(chǎn)權(quán)律師。

2012 年,完成 EdX 的電子學(xué)入門后 ,他發(fā)現(xiàn)自己愛上了這類在線課程,根本停不下來(lái)!隨后,他通過(guò)在線學(xué)習(xí)獲得了哥倫比亞大學(xué)的人工智能專業(yè)畢業(yè)證書。
他的妻子Andrea是一位藝術(shù)史學(xué)家,她花了很多時(shí)間策劃藝術(shù)圖像,目前正考慮退休。
Steven指出,科學(xué)測(cè)量可以確定一幅畫的年代和畫作細(xì)節(jié),但是無(wú)法直接判斷其創(chuàng)作者,因?yàn)檫@需要對(duì)風(fēng)格和技術(shù)作出準(zhǔn)確的判斷。
不過(guò),計(jì)算機(jī)分析非常適合完成這一判斷任務(wù)。尤其是神經(jīng)網(wǎng)絡(luò)這種擅長(zhǎng)檢測(cè)圖案的計(jì)算機(jī)算法。
目前,CNN已有廣泛應(yīng)用,包括識(shí)別人臉和協(xié)助自動(dòng)駕駛。
那為什么不用CNN來(lái)解決更多現(xiàn)實(shí)問(wèn)題?
于是,兩人共同完成了這一「利用CNN檢測(cè)藝術(shù)偽造」的項(xiàng)目,他們還給自己的AI系統(tǒng)取名為「The A-Eye」。
