我感到非常困惑，我?guī)缀趺刻於荚诟淖冏约旱挠^點(diǎn)，我似乎對這個(gè)難題無法形成一種堅(jiān)實(shí)固定的看法。我不是在討論目前的世界局勢，或現(xiàn)任美國總統(tǒng)，我是在討論對人類而言更加重要的一件事。更具體地來說，我在討論的是研究人員與工程師們的存在和工作，我說的是深度學(xué)習(xí)。

你也許會(huì)認(rèn)為我的聲明有些夸張，但深度學(xué)習(xí)的出現(xiàn)確實(shí)引出了我們必須解決的幾個(gè)關(guān)鍵問題。在本文中，我希望揭露這一新興領(lǐng)域引發(fā)的沖突，這與圖像處理領(lǐng)域的研究者們有關(guān)。

首先讓我們簡要回顧一下深度學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)的概念。神經(jīng)網(wǎng)絡(luò)已經(jīng)存在了數(shù)十年，它提出了一種通用的學(xué)習(xí)機(jī)制，原則上可用于處理任何可學(xué)習(xí)的數(shù)據(jù)集。在其前饋架構(gòu)中，感知層(也就是神經(jīng)元)首先對輸入內(nèi)容進(jìn)行加權(quán)平均，隨后進(jìn)行非線性處理，如感知器(sigmoid)或 rectified-linear 曲線。人們可以訓(xùn)練這種簡單的系統(tǒng)通過多種監(jiān)督回歸和分類方法從給定數(shù)據(jù)中獲得需要的輸出。

這看起來很棒，但不幸的是這個(gè)概念在 20 世紀(jì) 80 代 90 年代并沒有流行起來——在那時(shí)神經(jīng)網(wǎng)絡(luò)無法給出足夠具有競爭力的表現(xiàn)。此外，由于有著堅(jiān)實(shí)理論基礎(chǔ)以及凸優(yōu)化方式的支持向量機(jī)的出現(xiàn)，神經(jīng)網(wǎng)絡(luò)看起來完全沒有翻身機(jī)會(huì)了。最終，神經(jīng)網(wǎng)絡(luò)進(jìn)入了漫長的低潮期，只有少部分研究者還在堅(jiān)持這方面的研究：Yann LeCun(紐約大學(xué)/ Facebook)、Geoffrey Hinton(多倫多大學(xué)/谷歌)、Yoshua Bengio(蒙特利爾大學(xué))和Jürgen Schmidhuber(瑞士人工智能實(shí)驗(yàn)室/盧加諾大學(xué))都在這一行列中。他們的努力產(chǎn)生了一系列重要的成果，如卷積和長短期記憶網(wǎng)絡(luò)，但一開始這些研究的影響有限。隨后，神經(jīng)網(wǎng)絡(luò)突然也迎來了爆發(fā)期。

在 21 世紀(jì)初，一系列論文提到了這種架構(gòu)的成功應(yīng)用，包括幾乎所有任務(wù)的***運(yùn)行結(jié)果。而這些應(yīng)用不約而同地使用了同一種方法：多層神經(jīng)網(wǎng)絡(luò)，這就是「深度學(xué)習(xí)」，通過大量數(shù)據(jù)用于訓(xùn)練， 大量計(jì)算機(jī)集群和顯卡計(jì)算資源的使用，以及采用有效初始化和逐步隨機(jī)梯度學(xué)習(xí)的優(yōu)化算法。不幸的是，所有這些偉大的成就都是建立在無法理解的基礎(chǔ)范式之上的。此外，從理論的角度看，深度學(xué)習(xí)在學(xué)習(xí)過程中所采用的***化是非常不凸和難解的。

深度學(xué)習(xí)應(yīng)用的大發(fā)展始于手寫字符識(shí)別(見下圖)，隨后緩慢地進(jìn)入了更具挑戰(zhàn)性的視覺、語音識(shí)別和自然語言處理任務(wù)中，并從此開始在任何任務(wù)里以有監(jiān)督學(xué)習(xí)的形式出現(xiàn)。谷歌、Facebook 和微軟這樣的大公司很快意識(shí)到這一技術(shù)的潛力，它們投入了大量人力和資源來掌握這些工具，并將其投入產(chǎn)品中。而在學(xué)術(shù)方面，信號處理、圖像處理和計(jì)算機(jī)視覺的各類大會(huì)已經(jīng)被深度學(xué)習(xí)占領(lǐng)，它日益增長的主導(dǎo)地位逐漸讓人工智能變得興盛起來。

圖1. 神經(jīng)網(wǎng)絡(luò)首先在手寫字符識(shí)別等任務(wù)中展現(xiàn)出了巨大的潛力

深度學(xué)習(xí)仍在隨著時(shí)間發(fā)展。為了簡潔起見，我們以經(jīng)典的圖片去噪點(diǎn)任務(wù)為例(如下圖)。這些年來，研究者們發(fā)表了數(shù)千份關(guān)于此任務(wù)的論文。研究人員利用偏微分方程的工具，如各向異性擴(kuò)散、全變差、能量最小化、圖像幾何解釋方法作為流型、貝特拉米流(Beltrami flow)等等，開發(fā)出了美麗而深刻的數(shù)學(xué)思想。諧波分析和近似理論同樣應(yīng)用于噪點(diǎn)任務(wù)，引出了小波理論和稀疏表示的重大突破。其他重要的思想包括低階近似、非局部均值、貝葉斯估計(jì)和魯棒統(tǒng)計(jì)。因此可以認(rèn)為，我們在過去三十年中獲得了豐富的圖像處理知識(shí)，而這影響了許多圖像處理任務(wù)，并穩(wěn)固了其后的數(shù)學(xué)基礎(chǔ)。

圖2. 去噪樣例。左：原始圖片。中：附加高斯噪點(diǎn)后的圖片，STD=100。右：使用了一個(gè)領(lǐng)先算法后的去噪結(jié)果——BM3D。

2012 年，Harold Burger、Christian Schuler 和 Stefan Harmeling 決定用深度學(xué)習(xí)來解決這個(gè)問題。他們的想法很簡單：給一大批輸入的干凈的照片添加點(diǎn)合成噪音，然后輸入學(xué)習(xí)系統(tǒng)，希望系統(tǒng)可以將噪音圖片還原為原來干凈的版本。盡管過程很讓人沮喪、繁瑣且冗長，其中，調(diào)整這個(gè)辦法的參數(shù)以實(shí)現(xiàn)好的效果花費(fèi)了很長時(shí)間，但是結(jié)果這個(gè)網(wǎng)絡(luò)效果真的優(yōu)于當(dāng)時(shí)其他任何去噪算法。

這不是一個(gè)孤立的故事。如今，深度學(xué)習(xí)系統(tǒng)也可以處理許多其他圖片處理需求，處理效果至今無人超越。其中，單個(gè)圖片超分辨率處理、去馬賽克、去模糊、分割、圖片標(biāo)注以及面部識(shí)別效果特別好。

我們應(yīng)該對此感到高興嗎?好吧，如果你是在公司，要解決實(shí)際商業(yè)問題，比如去噪點(diǎn)，那么，回答當(dāng)然是應(yīng)該高興。所以，正在尋找解決方案的公司應(yīng)該對上面的結(jié)果感到滿意。但是，科學(xué)家也應(yīng)該感到高興嗎?花費(fèi)大量成本解決圖片去噪問題的背后，我們的真實(shí)目標(biāo)到底是什么?是的，目標(biāo)就是高效算法，但是，這也是只是動(dòng)機(jī)的一小部分，科學(xué)家的目標(biāo)更寬闊，也更深入。這個(gè)領(lǐng)域的研究人員旨在理解我們使用的數(shù)據(jù)。而方法就是為信息建模，解碼信息的真實(shí)維度并搞清楚現(xiàn)象的真實(shí)面目。這些可以降噪以及解決其他圖片處理中遇到的問題的模型，還遠(yuǎn)不能幫助科學(xué)家實(shí)現(xiàn)這些目標(biāo)，但是，這些模型可以提供了從數(shù)據(jù)中提取知識(shí)、開拓新視野的新方式。

好了，現(xiàn)在讓我們回到主要問題上來：新興的基于深度學(xué)習(xí)的解決方案，應(yīng)該讓人感到欣喜嗎?我們的挫敗感是合乎情理的嗎?成像(imaging)科學(xué)中，深度學(xué)習(xí)的角色到底是什么?當(dāng)研究人員開會(huì)聚在一起時(shí)，他們就會(huì)提出這些問題，回答也是各種各樣，讓人疑惑。事實(shí)勝于雄辯；在絕大多數(shù)情況下，基于深度學(xué)習(xí)的解決方案缺乏數(shù)學(xué)優(yōu)雅，幾乎解釋不清楚解決方案或者背后的情況。不過，從積極角度來看，這個(gè)現(xiàn)象也是極好的。顯然，這不是我們被教授的研究學(xué)派，也不是我們想要付諸實(shí)踐的那類科學(xué)。我們是否應(yīng)該堅(jiān)持更加嚴(yán)格的方式甚至以在輸出質(zhì)量上落后為代價(jià)?是否應(yīng)該反擊并讓出自深度學(xué)習(xí)的思想擁有更加堅(jiān)實(shí)的基礎(chǔ)的辦法?

說得更詳細(xì)一點(diǎn)，深度學(xué)習(xí)做出的貢獻(xiàn)具有某種無法被人忽視的優(yōu)雅。比如，風(fēng)格遷移可以生成許多驚艷的效果，或者反轉(zhuǎn)所學(xué)網(wǎng)絡(luò)風(fēng)格，憑空合成圖片，就像谷歌 Deep Dream 項(xiàng)目那樣。幾年前，我們壓根兒沒有構(gòu)思如此復(fù)雜任務(wù)的念頭；現(xiàn)在，作為深度神經(jīng)網(wǎng)絡(luò)的副產(chǎn)品，這個(gè)想法被扎實(shí)解決了，深度網(wǎng)絡(luò)本來是用來解決完全不相關(guān)的視覺分類問題的。

在我看來，對深度學(xué)習(xí)近期取得的進(jìn)展，從事圖像處理研究的人可謂厭惡和妒忌參半。一些人已經(jīng)選擇繼續(xù)袖手旁觀，有的人卻會(huì)相應(yīng)地「與時(shí)俱進(jìn)」，調(diào)整研究安排。我屬于后者，不過是有條件的。在我看來，想象這波浪潮會(huì)像燕過無痕那樣對我們的研究領(lǐng)域不產(chǎn)生重要影響，無異于掩耳盜鈴。所以，我也愿意讓深度學(xué)習(xí)影響研究團(tuán)隊(duì)的想法和行動(dòng)，但是我們也會(huì)繼續(xù)找尋其中的數(shù)學(xué)優(yōu)雅性，清楚理解我們提出的思想。是不是在追求不可能的事情，時(shí)間會(huì)證明一切。

簡單回到我的開場白，深度學(xué)習(xí)已經(jīng)對人類生活產(chǎn)生重大影響，未來幾十年，人類生活很有可能變得大不同。人形機(jī)器人和智能系統(tǒng)將環(huán)繞我們周圍，并影響著人類活動(dòng)的許多方面，就業(yè)和工作可能會(huì)成為過去式，人類關(guān)系也會(huì)經(jīng)歷重大變化。直白點(diǎn)說，你的孫子輩兒可能會(huì)有位機(jī)器人伴侶。好笑的地方在這里：這一怪異未來背后技術(shù)中，許多會(huì)源于深度學(xué)習(xí)及其后續(xù)領(lǐng)域。

深度學(xué)習(xí)進(jìn)展迅速，但它是我們想要的未來嗎?工程師和研究人員的好奇和天賦正驅(qū)動(dòng)我們走向這一未來，眾多公司和機(jī)構(gòu)也將它視為自己的主要目標(biāo)。如果我們不去討論如何規(guī)制技術(shù)進(jìn)步，將這一技術(shù)趨勢導(dǎo)入我們想要的未來，將會(huì)發(fā)生什么?是時(shí)候認(rèn)真思考一番了。

本文作者 Michael Elad 是以色列理工學(xué)院的計(jì)算機(jī)科學(xué)教授，他也是學(xué)術(shù)期刊 SIAM Journal on Imaging Sciences 的總編輯。 

原文：https://sinews.siam.org/Details-Page/deep-deep-trouble-4

【本文是51CTO專欄機(jī)構(gòu)機(jī)器之心的原創(chuàng)譯文，微信公眾號“機(jī)器之心( id: almosthuman2014)”】 

戳這里，看該作者更多好文