自從深度學(xué)習(xí)只能識(shí)別支票和信封上的手寫字母以來(lái)，它已經(jīng)取得了長(zhǎng)足的進(jìn)步。今天，深度神經(jīng)網(wǎng)絡(luò)已經(jīng)成為許多計(jì)算機(jī)視覺應(yīng)用的關(guān)鍵組成部分，從照片和視頻編輯器到醫(yī)療軟件和自動(dòng)駕駛汽車。

神經(jīng)網(wǎng)絡(luò)大致模仿了大腦的結(jié)構(gòu)，已經(jīng)更接近于像人類一樣看待世界。但是它們還有很長(zhǎng)的路要走，而且它們?cè)谌祟愑肋h(yuǎn)不會(huì)犯錯(cuò)的情況下也會(huì)犯錯(cuò)。

這些情況，通常被稱為對(duì)抗性樣本，以令人困惑的方式改變了人工智能模型的行為。 對(duì)抗性的機(jī)器學(xué)習(xí)是當(dāng)前人工智能系統(tǒng)的最大挑戰(zhàn)之一。它們可能導(dǎo)致機(jī)器學(xué)習(xí)模型以不可預(yù)知的方式失敗，或者變得容易受到網(wǎng)絡(luò)攻擊。

對(duì)抗性樣本的例子: 在這張熊貓照片中加入一層難以察覺的噪音，會(huì)讓卷積神經(jīng)網(wǎng)絡(luò)誤以為它是長(zhǎng)臂猿。

創(chuàng)建能夠抵御敵對(duì)攻擊的人工智能系統(tǒng)，已經(jīng)成為一個(gè)活躍的研究領(lǐng)域和人工智能會(huì)議的熱門話題。在計(jì)算機(jī)視覺中，保護(hù)深度學(xué)習(xí)系統(tǒng)免受對(duì)抗性攻擊的一個(gè)有趣的方法是應(yīng)用神經(jīng)科學(xué)的發(fā)現(xiàn)來(lái)縮小神經(jīng)網(wǎng)絡(luò)和哺乳動(dòng)物視覺系統(tǒng)之間的差距。

麻省理工學(xué)院(MIT)和 MIT-ibm 沃森人工智能實(shí)驗(yàn)室(Watson AI Lab)的研究人員利用這種方法發(fā)現(xiàn)， 將哺乳動(dòng)物視覺皮層的特征直接映射到深層神經(jīng)網(wǎng)絡(luò)，可以創(chuàng)建出行為更可預(yù)測(cè)、更能抵御對(duì)抗性樣本的 AI 系統(tǒng)。在 bioRxiv 預(yù)印本服務(wù)器上發(fā)表的一篇論文中，研究人員介紹了 VOneNet，一種結(jié)合了當(dāng)前深度學(xué)習(xí)技術(shù)和神經(jīng)科學(xué)啟發(fā)的神經(jīng)網(wǎng)絡(luò)的架構(gòu)。

https://www.biorxiv.org/content/10.1101/2020.06.16.154542v1

這項(xiàng)工作是在慕尼黑大學(xué)、路德維希馬克西米利安大學(xué)和奧格斯堡大學(xué)的科學(xué)家的幫助下完成的，并被去年舉行的 NeurIPS 2020大會(huì)接受。

當(dāng)今計(jì)算機(jī)視覺的主要體系結(jié)構(gòu)是卷積神經(jīng)網(wǎng)絡(luò)(CNN)。當(dāng)卷積層疊加在一起時(shí)，可以學(xué)習(xí)和提取圖像中的層次特征。較低的圖層找到一般的模式，如角落和邊緣，而較高的圖層逐漸變得善于找到更具體的東西，如物體和人。

神經(jīng)網(wǎng)絡(luò)的每一層都將從輸入圖像中提取特定的特征。

與傳統(tǒng)的全連接網(wǎng)絡(luò)相比，卷積神經(jīng)網(wǎng)絡(luò)已被證明是更加健壯和計(jì)算效率更高的。但是 cnn 和人類視覺系統(tǒng)處理信息的方式仍然存在根本的區(qū)別。

IBM 麻省理工學(xué)院沃森人工智能實(shí)驗(yàn)室(mit-IBM Watson AI Lab)主任David Cox向 TechTalks 表示: “深層神經(jīng)網(wǎng)絡(luò)(尤其是卷積神經(jīng)網(wǎng)絡(luò))已經(jīng)成為視覺皮層令人驚訝的優(yōu)秀模型，它們往往更適合從大腦中收集的實(shí)驗(yàn)數(shù)據(jù)，甚至比專門用于解釋神經(jīng)科學(xué)數(shù)據(jù)的計(jì)算模型更好。”。“但并不是所有的深層神經(jīng)網(wǎng)絡(luò)都能很好地匹配大腦數(shù)據(jù)，而且大腦和 dnn 之間存在一些持久的差異。”

其中最突出的差距是對(duì)抗性的例子，在這些例子中， 微小的干擾，如一小塊或一層不易察覺的噪音，可能導(dǎo)致神經(jīng)網(wǎng)絡(luò)錯(cuò)誤分類他們的輸入。這些變化通常不為人們所注意。

對(duì)抗性攻擊停止標(biāo)志

人工智能研究人員發(fā)現(xiàn)，通過(guò)在停車標(biāo)志上添加小小的黑白貼紙，他們可以使計(jì)算機(jī)視覺算法無(wú)法識(shí)別出這些標(biāo)志。

“可以肯定的是，能夠欺騙dnn的圖像，永遠(yuǎn)不能欺騙我們自己的視覺系統(tǒng)，”Cox說(shuō)。“還有一種情況是，dnn 對(duì)圖像的自然退化(例如，添加噪聲)非常脆弱，因此對(duì) dnn 來(lái)說(shuō)，魯棒性通常似乎是一個(gè)懸而未決的問(wèn)題。考慮到這一點(diǎn)，我們認(rèn)為這是一個(gè)尋找大腦和 dna 之間差異的好地方，這可能有所幫助。”

[[375728]]

David Cox，IBM mit-IBM Watson AI 實(shí)驗(yàn)室主任

在這項(xiàng)新的研究中，Cox 和 DiCarlo 與論文的主要作者 Joel Dapello 和 Tiago Marques 一起，研究當(dāng)與大腦活動(dòng)相似時(shí)，神經(jīng)網(wǎng)絡(luò)是否能夠更強(qiáng)大地抵御敵對(duì)性攻擊。人工智能研究人員測(cè)試了幾個(gè)流行的 CNN 架構(gòu)訓(xùn)練的 ImageNet 數(shù)據(jù)集，包括 AlexNet，VGG，和不同的變化的 ResNet。他們還測(cè)試了一些經(jīng)歷過(guò)“對(duì)抗性訓(xùn)練”的深度學(xué)習(xí)模型，在這個(gè)過(guò)程中，一個(gè)神經(jīng)網(wǎng)絡(luò)使用對(duì)抗性的樣本進(jìn)行訓(xùn)練，以避免對(duì)它們的錯(cuò)誤分類。

文中使用 BrainScore 度量評(píng)估了人工智能模型，該度量比較了深層神經(jīng)網(wǎng)絡(luò)的激活和大腦的神經(jīng)反應(yīng)。然后，通過(guò)測(cè)試每個(gè)模型對(duì)抗白盒對(duì)抗性攻擊(攻擊者完全了解目標(biāo)神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)和參數(shù))的魯棒性來(lái)衡量它們的健壯性。

Cox說(shuō): “ 令我們驚訝的是，神經(jīng)網(wǎng)絡(luò)越像大腦，系統(tǒng)就越能抵御對(duì)抗性的攻擊。”。“受此啟發(fā)，我們想知道是否有可能通過(guò)在網(wǎng)絡(luò)的輸入階段增加一個(gè)與早期視覺皮層更為類似的處理層，來(lái)提高魯棒性(包括對(duì)抗性魯棒性)。”

神經(jīng)網(wǎng)絡(luò)對(duì)抗性的強(qiáng)健性，研究表明，大腦得分越高的神經(jīng)網(wǎng)絡(luò)對(duì)抗白箱對(duì)抗性攻擊的能力越強(qiáng)。

為了進(jìn)一步驗(yàn)證他們的發(fā)現(xiàn)，研究人員開發(fā)了 VOneNet，這是一種混合的深度學(xué)習(xí)架構(gòu)，它將標(biāo)準(zhǔn)的神經(jīng)網(wǎng)絡(luò)與一層受神經(jīng)科學(xué)啟發(fā)的神經(jīng)網(wǎng)絡(luò)相結(jié)合。

用 VOneBlock 取代了 CNN 的前幾層，VOneBlock 是一種神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，它是以靈長(zhǎng)類動(dòng)物的初級(jí)視覺皮層，也被稱為 V1區(qū)域而形成的。這意味著圖像數(shù)據(jù)首先由 VOneBlock 處理，然后傳遞到網(wǎng)絡(luò)的其余部分。

VOneBlock 本身由 Gabor 濾波器組(GFB)、簡(jiǎn)單細(xì)胞，復(fù)細(xì)胞非線性處理層以及隨機(jī)性神經(jīng)元組成。GFB 類似于其他神經(jīng)網(wǎng)絡(luò)中的卷積層。但是經(jīng)典的神經(jīng)網(wǎng)絡(luò)從隨機(jī)參數(shù)值開始并在訓(xùn)練中調(diào)整它們時(shí)，GFB 參數(shù)值的確定和固定是基于我們所知道的初級(jí)視覺皮層的激活。

VOneBlock 體系結(jié)構(gòu)，VOneBlock 是一種模仿初級(jí)視覺皮層功能的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。

“VOneBlock 的網(wǎng)絡(luò)權(quán)重即架構(gòu)設(shè)計(jì)完全依據(jù)于生物學(xué)。這意味著我們對(duì) VOneBlock 的所有選擇都受到了神經(jīng)生理學(xué)的限制。換句話說(shuō)，我們?cè)O(shè)計(jì) VOneBlock 是為了盡可能地模仿靈長(zhǎng)類動(dòng)物的初級(jí)視覺皮層(V1區(qū))。我們考慮了過(guò)去40年來(lái)從幾項(xiàng)研究中收集的可用數(shù)據(jù)，以確定 VOneBlock 參數(shù)。

雖然不同靈長(zhǎng)類動(dòng)物的視覺皮層存在顯著差異，但也存在許多共同特征，尤其是 V1區(qū)。“幸運(yùn)的是，靈長(zhǎng)類動(dòng)物之間的差異似乎很小，事實(shí)上有大量研究表明猴子的物體識(shí)別能力與人類相似。在我們的模型中，我們使用了已發(fā)表的描述猴子 V1神經(jīng)元反應(yīng)的可用數(shù)據(jù)。盡管我們的模型仍然只是靈長(zhǎng)類動(dòng)物 V1的近似值(它不包括所有已知數(shù)據(jù)，甚至這些數(shù)據(jù)也有一定的局限性ーー對(duì)于 V1的處理，我們?nèi)匀挥泻芏嗖恢赖牡胤? ，但它是一個(gè)很好的近似值，”。

VOneNet的性能對(duì)比

VOneBlock 的優(yōu)勢(shì)之一是它與當(dāng)前 CNN 架構(gòu)的兼容性。“ VOneBlock 被設(shè)計(jì)成具有即插即用的功能，” Marques 說(shuō)。”這意味著它直接替換標(biāo)準(zhǔn) CNN 結(jié)構(gòu)的輸入層。VOneBlock 核心之后的轉(zhuǎn)換層確保其輸出可以與 CNN 體系結(jié)構(gòu)的其余部分兼容。”

研究人員將 VOneBlock 插入到幾個(gè) CNN 體系結(jié)構(gòu)中，這些體系結(jié)構(gòu)在 ImageNet 數(shù)據(jù)集上運(yùn)行良好。有趣的是，增加這個(gè)簡(jiǎn)單的塊導(dǎo)致相當(dāng)顯著的提高了對(duì)白箱對(duì)抗性攻擊的魯棒性和優(yōu)于訓(xùn)練為基礎(chǔ)的防御方法。

研究人員在他們的論文中寫道: “在標(biāo)準(zhǔn)的 CNN 架構(gòu)前模擬靈長(zhǎng)類初級(jí)視覺皮層的圖像處理，顯著地提高了它們對(duì)圖像擾動(dòng)的魯棒性，甚至使它們超越了最先進(jìn)的防御方法。”。

實(shí)驗(yàn)表明，經(jīng)過(guò)修改的卷積神經(jīng)網(wǎng)絡(luò)包含 VOneBlock，能夠更好地抵御白盒對(duì)抗性攻擊。

“我們?cè)谶@里添加的 V1模型實(shí)際上非常簡(jiǎn)單ーー我們只改變系統(tǒng)的第一階段，而不改變網(wǎng)絡(luò)的其余部分，而且這個(gè) V1模型的生物學(xué)保真度仍然非常簡(jiǎn)單，”Cox說(shuō)。他補(bǔ)充說(shuō)，人們可以在這個(gè)模型中添加更多的細(xì)節(jié)和細(xì)微差別，以使它更好地匹配我們對(duì)大腦的了解。

這篇論文挑戰(zhàn)了過(guò)去年人工智能研究中已經(jīng)變得非常普遍的一個(gè)趨勢(shì)。許多人工智能科學(xué)家沒有在他們的研究中應(yīng)用關(guān)于大腦機(jī)制的最新發(fā)現(xiàn)，而是專注于利用大量的計(jì)算資源和數(shù)據(jù)集來(lái)訓(xùn)練越來(lái)越大的神經(jīng)網(wǎng)絡(luò)，從而推動(dòng)這一領(lǐng)域的進(jìn)步。這種方法對(duì)人工智能研究提出了許多挑戰(zhàn)。

VOneNet 證明了生物智能仍然有很多未開發(fā)的潛力，可以解決人工智能研究所面臨的一些基本問(wèn)題。“ 這里展示的模型直接來(lái)自靈長(zhǎng)類神經(jīng)生物學(xué)，實(shí)際上需要更少的訓(xùn)練來(lái)實(shí)現(xiàn)更接近人類的行為。這是一個(gè)新的良性循環(huán)的轉(zhuǎn)折點(diǎn)，神經(jīng)科學(xué)和人工智能相輔相成，相互加強(qiáng)。”作者寫道。

在未來(lái)，研究人員將進(jìn)一步探索 VOneNet 的特性，以及神經(jīng)科學(xué)和人工智能的發(fā)現(xiàn)的進(jìn)一步整合。“我們目前工作的一個(gè)局限性是，雖然我們已經(jīng)證明添加 V1塊可以帶來(lái)改進(jìn)，但是我們并不能很好地解釋為什么會(huì)這樣，”Cox說(shuō)。

發(fā)展這個(gè)理論來(lái)幫助理解這個(gè)“為什么”的問(wèn)題將使人工智能研究人員能夠最終找到真正重要的東西，并建立更有效的系統(tǒng)。他們還計(jì)劃在人工神經(jīng)網(wǎng)絡(luò)的初始層次之外，探索受神經(jīng)科學(xué)啟發(fā)的架構(gòu)的整合。

翻譯自：https://venturebeat.com/2021/01/08/is-neuroscience-the-key-to-protecting-ai-from-adversarial-attacks/