本文轉(zhuǎn)載自公眾號(hào)“讀芯術(shù)”(ID：AI_Discovery)

如今的人工智能存在一個(gè)很重要問(wèn)題：太貴了。訓(xùn)練現(xiàn)代計(jì)算機(jī)視覺(jué)模型Resnet-152的成本大約為100億浮點(diǎn)運(yùn)算，這比起現(xiàn)代語(yǔ)言模型相形見(jiàn)絀。

[[350888]]

訓(xùn)練OpenAI的最新自然語(yǔ)言模型GPT-3預(yù)計(jì)耗費(fèi)3000萬(wàn)億浮點(diǎn)運(yùn)算，其中在商用GPU上的成本至少為500萬(wàn)美元。與其相比，人類大腦可以識(shí)別面部、回答問(wèn)題，且只需一杯咖啡就能駕駛汽車。

我們?nèi)绾巫龅?

我們已經(jīng)取得了很大的進(jìn)展。

第一批電腦的產(chǎn)生有著特殊的目的。1822年，英國(guó)數(shù)學(xué)家查爾斯·巴貝奇(Charles Babbage)為了計(jì)算多項(xiàng)式函數(shù)創(chuàng)造了“差分機(jī)”。1958年，康奈爾大學(xué)教授弗蘭克·羅森布拉特(Frank Rosenblatt)創(chuàng)造了“Mark I”，這是單層感知器的物理形式，用于機(jī)器視覺(jué)任務(wù)。硬件和算法在早期是同一種東西。

硬件和算法的統(tǒng)一隨著馮諾依曼體系架構(gòu)的出現(xiàn)發(fā)生了變化，該架構(gòu)具備由計(jì)算處理單元組成的芯片設(shè)計(jì)以及儲(chǔ)存數(shù)據(jù)和程序指令的內(nèi)存單元。這種模式上的轉(zhuǎn)變使得建造可以針對(duì)任何任務(wù)進(jìn)行編程的通用機(jī)器成為可能。馮諾依曼體系架構(gòu)已經(jīng)成為現(xiàn)代數(shù)字計(jì)算機(jī)的藍(lán)圖。

但是這里存在矛盾。數(shù)據(jù)密集型程序需要進(jìn)行大量?jī)?nèi)存單元和計(jì)算單元間的通信，這會(huì)減緩計(jì)算速度。這個(gè)“馮諾依曼瓶頸”是人工智能早期嘗試失敗的原因。標(biāo)準(zhǔn)的CPU在深度神經(jīng)網(wǎng)絡(luò)的核心計(jì)算操作——大型矩陣乘法中效率不高。由于現(xiàn)有硬件的瓶頸，早期的神經(jīng)網(wǎng)絡(luò)存在技術(shù)擱淺并且表現(xiàn)不佳。

有趣的是，問(wèn)題的解決辦法不是來(lái)自學(xué)術(shù)界，而是來(lái)自游戲行業(yè)。在1970年代，為加速視頻游戲發(fā)展而開(kāi)發(fā)的GPU使得數(shù)據(jù)密集型操作與數(shù)千的計(jì)算內(nèi)核并行化。這種并行化是解決馮諾依曼瓶頸的有效辦法。GPU使得訓(xùn)練更深層次的神經(jīng)網(wǎng)絡(luò)成為可能，并且成為現(xiàn)代人工智能技術(shù)現(xiàn)行使用的硬件。

硬件彩票

人工智能領(lǐng)域研究的成功有很大的運(yùn)氣成分。谷歌研究員薩拉·胡克(Sara Hooker)稱之為“硬件彩票”：早期的AI研究人員非常不幸，因?yàn)樗麄儽凰俣染徛腃PU困住了腿腳。在GPU出現(xiàn)時(shí)碰巧從事AI領(lǐng)域的研究人員“贏得了”硬件彩票。他們可以通過(guò)利用GPU的高效加速功能來(lái)訓(xùn)練神經(jīng)網(wǎng)絡(luò)，從而取得飛速的進(jìn)展。

硬件彩票所體現(xiàn)的問(wèn)題在于，一旦這整個(gè)領(lǐng)域中的人都成為了贏家，就很難探索出新事物。硬件的發(fā)展速度緩慢，需要芯片制造商進(jìn)行大量回報(bào)不確定的前期投資。一個(gè)保險(xiǎn)的做法就是對(duì)矩陣乘法進(jìn)行優(yōu)化，這已成為現(xiàn)狀。然而長(zhǎng)期來(lái)說(shuō)，這種關(guān)注于硬件和算法一個(gè)特定組合的做法會(huì)限制我們的選擇。

讓我們回到最開(kāi)始的問(wèn)題。為什么當(dāng)今的人工智能如此昂貴?答案可能是我們還不具備合適的硬件。硬件彩票的存在加以商業(yè)激勵(lì)的機(jī)制，使得我們?cè)诮?jīng)濟(jì)上難以擺脫目前的現(xiàn)狀。

一個(gè)很好的例子是Geoffrey Hinton的膠囊神經(jīng)網(wǎng)絡(luò)——一種新穎的計(jì)算機(jī)視覺(jué)方法。谷歌研究人員Paul Barham和Michael Isard發(fā)現(xiàn)這種方法在CPU上很有成效，但是在GPU和TPU上效果不佳。

這背后的原因是什么呢?加速器的優(yōu)化都針對(duì)例如標(biāo)準(zhǔn)矩陣乘法等最頻繁的操作，但缺少對(duì)膠囊卷積的優(yōu)化。他們得出的結(jié)論(同時(shí)也是論文的標(biāo)題)是：機(jī)器學(xué)習(xí)系統(tǒng)陷入困境。

AI研究人員可能會(huì)“過(guò)度適應(yīng)”現(xiàn)有的硬件，從長(zhǎng)遠(yuǎn)來(lái)看，這將抑制該領(lǐng)域的創(chuàng)新。

前進(jìn)的道路

“取得下一步的突破可能需要采用一種本質(zhì)與以往不同的角度：將硬件、軟件與算法結(jié)合起來(lái)對(duì)世界進(jìn)行建模。”

在人腦中，記憶和計(jì)算不是兩個(gè)獨(dú)立的部分，相反它們發(fā)生在同一個(gè)地點(diǎn)：神經(jīng)元中。記憶來(lái)源于神經(jīng)元通過(guò)突觸連接在一起的方式，而計(jì)算來(lái)源于神經(jīng)元觸發(fā)并傳播感官輸入的信息的方式。就像早期的計(jì)算機(jī)一樣，硬件和算法是同一個(gè)東西。這與我們當(dāng)今構(gòu)建人工智能的方法不同。

由GPU和TPU驅(qū)動(dòng)的深度神經(jīng)網(wǎng)絡(luò)雖然在當(dāng)今的許多任務(wù)中表現(xiàn)出色，但不是長(zhǎng)遠(yuǎn)辦法。也許它們只是硬件與算法的組合體系結(jié)構(gòu)在廣闊前景之下的局部最優(yōu)解。

意識(shí)到僅有算法還遠(yuǎn)遠(yuǎn)不夠是前進(jìn)道路的開(kāi)端。下一代的人工智能需要在硬件和算法方面都進(jìn)行創(chuàng)新。在GPU出現(xiàn)之前，AI研究止步不前。如果沒(méi)有硬件上的突破，我們可能會(huì)再次陷入發(fā)展停滯的困境。