OpenAI最近對(duì)不同時(shí)期***型的AI試驗(yàn)所消耗的計(jì)算量進(jìn)行了調(diào)查分析。結(jié)果發(fā)現(xiàn)，跟6年前相比，AI訓(xùn)練所需的計(jì)算量整整增長(zhǎng)了30倍，相當(dāng)于每3.5月就翻番。這種指數(shù)增長(zhǎng)速度是驚人的，但是考慮到硬件投入、電耗支出等開(kāi)支(比如目前規(guī)模***的AI試驗(yàn)AlphaGo Zero的訓(xùn)練開(kāi)銷估計(jì)達(dá)1000萬(wàn)美元)，這種趨勢(shì)還能持續(xù)多久呢?

Ryan Carey通過(guò)分析得出結(jié)論說(shuō)不會(huì)超過(guò)3.5-10年。但是哪怕這種趨勢(shì)還能繼續(xù)延續(xù)這么久，AI也能突破一些實(shí)現(xiàn)一般人工智能(AGI)所需的計(jì)算量。 

我們知道，過(guò)去幾年AI試驗(yàn)使用的算力要比之前多得多。不過(guò)就在上個(gè)月，OpenAI進(jìn)行的一項(xiàng)調(diào)查對(duì)這種發(fā)展速度有多快做出了一些初步估計(jì)。通過(guò)對(duì)AlphaGo Zero與AlexNet進(jìn)行比較，他們發(fā)現(xiàn)現(xiàn)在***型的試驗(yàn)是6年前***型試驗(yàn)規(guī)模的300000倍。此間每年的***型試驗(yàn)規(guī)模都呈現(xiàn)出指數(shù)性增長(zhǎng)，每3.5月就翻番。

按照這種AI計(jì)算趨勢(shì)，試驗(yàn)的增長(zhǎng)率之快令人詫異，值得進(jìn)行一些分析。本文將探討兩個(gè)問(wèn)題。***個(gè)是如果試驗(yàn)規(guī)模還是增長(zhǎng)得這么快的話，很快就會(huì)變得承受不起，所以這種趨勢(shì)將漸近結(jié)束。除非經(jīng)濟(jì)被徹底重塑，否則這種趨勢(shì)頂多只能維持3.5到10年，具體要看開(kāi)支水平以及計(jì)算成本如何變化。第二個(gè)問(wèn)題是如果這種趨勢(shì)能再維持3.5年，則用于AI試驗(yàn)的計(jì)算量就會(huì)超過(guò)一些有趣的里程碑。尤其是，一次試驗(yàn)所用的計(jì)算將超過(guò)利用尖峰神經(jīng)元模擬人腦 18年思考所需的總量。大體而言，我們可以說(shuō)這種趨勢(shì)將超過(guò)達(dá)到成人智力水平所需的水平，如果賦予同等效率算法的話。在(1)、(2)節(jié)里，我將相應(yīng)探討這些問(wèn)題，而在(3)節(jié)，我會(huì)討論一下這一分析的限制并且權(quán)衡這一工作將如何影響AGI的預(yù)測(cè)。 

縱軸：AI訓(xùn)練所需的計(jì)算量，單位千億次浮點(diǎn)運(yùn)算

1、這個(gè)AI計(jì)算趨勢(shì)還能維持多久?

要想弄清楚這種AI計(jì)算趨勢(shì)在經(jīng)濟(jì)上還能持續(xù)多久，我們需要知道三件事情：試驗(yàn)成本的增長(zhǎng)率，目前試驗(yàn)的成本，以及未來(lái)一次試驗(yàn)可以承受的***開(kāi)支。

***型的試驗(yàn)每3.5個(gè)月規(guī)模就翻番(每年大概增加一個(gè)數(shù)量級(jí)，也就是10倍。時(shí)間測(cè)算=LOG(10,2)*3.5/12=0.9689年，約為1年)，而每計(jì)算單位的成本大概是每4-12年下降一個(gè)數(shù)量級(jí)(長(zhǎng)期趨勢(shì)是每4年成本改進(jìn)10倍，而近期趨勢(shì)是每12年成本改進(jìn)10倍)。所以***型試驗(yàn)的成本每1.1-1.4年就增加一個(gè)數(shù)量級(jí)。

目前規(guī)模***的試驗(yàn)是AlphaGo Zero，其成本可能是1000萬(wàn)美元。

當(dāng)然，試驗(yàn)規(guī)模能到多大要取決于誰(shuí)來(lái)做。最有錢的玩家大概是美國(guó)政府。之前，美國(guó)用了GDP的1%來(lái)進(jìn)行曼哈頓項(xiàng)目，而實(shí)施阿波羅計(jì)劃期間往NASA投入了~0.5%的GDP。那我們就假設(shè)類似地投入到AI試驗(yàn)的***開(kāi)支也能占到GDP的1%，也就是2000億美元。鑒于一個(gè)數(shù)量級(jí)的增長(zhǎng)所需時(shí)間為1.1-1.4年，而初步試驗(yàn)規(guī)模為1000萬(wàn)美元，那么按照AI計(jì)算趨勢(shì)預(yù)測(cè)在5-6年時(shí)間內(nèi)我們就將看到成本達(dá)2000億美元的試驗(yàn)。那么鑒于未來(lái)(美國(guó))經(jīng)濟(jì)狀況跟目前類似，屆時(shí)將是這股AI計(jì)算趨勢(shì)的終結(jié)。

我們還可以考慮一下如果政府不參與的話這種趨勢(shì)能持續(xù)多久。鑒于私營(yíng)企業(yè)規(guī)模較小，其遭遇經(jīng)濟(jì)門檻也會(huì)快一點(diǎn)。其中***的是科技公司：Amazon和Google目前的研發(fā)預(yù)算大概是每年200億美元，那么我們可以假設(shè)政府以外***的獨(dú)立試驗(yàn)是200億美元。則私營(yíng)板塊大概能跟上AI計(jì)算趨勢(shì)的時(shí)間為政府的3/4，也就是約3.5到4.5年。

另一方面，特定硬件的研發(fā)也可能令計(jì)算成本變低，因此導(dǎo)致趨勢(shì)維持更久一點(diǎn)。如果一些新硬件讓計(jì)算便宜1000倍并且突破性價(jià)比摩爾定律的話，則這種經(jīng)濟(jì)門檻還能維持得久一點(diǎn)，大約還能持續(xù)3-4年。

為了讓AI計(jì)算趨勢(shì)維持真正長(zhǎng)的時(shí)間(超過(guò)10年)，經(jīng)濟(jì)產(chǎn)出必須以每年增長(zhǎng)一個(gè)數(shù)量級(jí)的速度發(fā)展。這的確是非常極端的情況了，但也不是不可能，主要一點(diǎn)是要看某些極其強(qiáng)大的AI技術(shù)能不能帶來(lái)大規(guī)模的經(jīng)濟(jì)收益。

當(dāng)然，重要的是要清楚這些數(shù)字都是上限，所以并不能排除AI計(jì)算趨勢(shì)更快停止(比方說(shuō)如果AI研究被證明經(jīng)濟(jì)性不如預(yù)期的話)的可能性，不管是突然中止還是慢慢停下來(lái)。

小結(jié)：AI計(jì)算快速發(fā)展的趨勢(shì)難以為繼，基本上無(wú)法超過(guò)3.5到10年。

2、AI計(jì)算趨勢(shì)什么時(shí)候有可能突破AGI相關(guān)的里程碑?

第二個(gè)可以得出的結(jié)論是，如果AI計(jì)算趨勢(shì)繼續(xù)當(dāng)前的節(jié)奏的話，就會(huì)突破某些有趣的里程碑。如果AI計(jì)算趨勢(shì)繼續(xù)3.5-10年，則***型試驗(yàn)的規(guī)模預(yù)計(jì)將達(dá)到10^7-5×10^13 Petaflop(千萬(wàn)億次浮點(diǎn)運(yùn)算)/日，那么問(wèn)題就是在該水平之下能達(dá)到哪些里程碑。哪些里程碑可能會(huì)給AGI的發(fā)展做出貢獻(xiàn)仍然是個(gè)爭(zhēng)議話題，不過(guò)這里有3個(gè)候選：

• 模擬兒童期間人類大腦所需的計(jì)算量
• 模擬人腦下圍棋，直到Alphago Zero成為超人所需局?jǐn)?shù)所需的計(jì)算量。
• 模擬人腦進(jìn)化所需的計(jì)算量。

人類兒童的里程碑

對(duì)于創(chuàng)造出人工智能所需的計(jì)算量，一個(gè)自然的猜想是人腦所用的計(jì)算量。假設(shè)AI有(相對(duì)于人類)：

• 類似的效率算法來(lái)學(xué)習(xí)執(zhí)行不同任務(wù)(各有不同的計(jì)算和數(shù)據(jù))
• 內(nèi)置到它的架構(gòu)里面的類似知識(shí)，
• 類似的數(shù)據(jù)
• 足夠的計(jì)算去模擬人類大腦運(yùn)行18年，以足夠細(xì)的顆粒度去捕捉大腦的智力表現(xiàn)。

然后，AI應(yīng)該就能夠像一位18歲的青少年一樣解決類似范圍內(nèi)的問(wèn)題了。

模擬大腦一秒鐘所需的每秒浮點(diǎn)運(yùn)算數(shù)量有很多測(cè)算。AI Impact收集的數(shù)據(jù)得出的中位數(shù)是1018 FLOPS(用霍奇金-哈斯利Hodgkin-Huxley方程來(lái)模擬)，范圍在3×10^13FLOPS(Moravec的估計(jì))與1×10^25FLOPS(模擬代謝組)之間。運(yùn)行這樣的模擬18年相當(dāng)于700萬(wàn)Petaflop。(范圍在200-7×10^13 Petaflop/s之間)。

那么按照最短的估計(jì)，比如Moravec的估計(jì)，我們的計(jì)算已經(jīng)足以超過(guò)人類兒童的里程碑了。而按照中位數(shù)測(cè)算以及Hodgkin-Huxley測(cè)算的話，我們將在3.5年內(nèi)到達(dá)里程碑。

AlphaGo Zero游戲里程碑

關(guān)于人類兒童里程碑的一個(gè)異議是AI系統(tǒng)目前比人學(xué)得慢(“slower-learners”)。AlphaGo Zero下了250萬(wàn)局圍棋才變成超人，也就是說(shuō)如果一局需要1小時(shí)的話就得下300年的圍棋游戲。我們也許會(huì)問(wèn)，像人腦這么復(fù)雜的東西要是運(yùn)行300年而不是18年的話得要多久。答案是：為了達(dá)到這一里程碑，趨勢(shì)在達(dá)到人類兒童里程碑之后還得再繼續(xù)14個(gè)月。

大腦進(jìn)化里程碑

一個(gè)更加保守的里程碑是模擬所有神經(jīng)進(jìn)化所需的計(jì)算量。2012年Shulman和 Bostrom介紹了一種辦法，那就是看看模擬神經(jīng)系統(tǒng)進(jìn)化的成本。這需要模擬10^25 個(gè)神經(jīng)元10億年間的進(jìn)化。Shulman和 Bostrom估計(jì)模擬一個(gè)神經(jīng)元1秒鐘的成本是1-10^10次浮點(diǎn)運(yùn)算，這樣的話模擬進(jìn)化的總成本就是3×10^21-3×10^31Petaflop/日。這個(gè)計(jì)算量太龐大了，等到AI計(jì)算趨勢(shì)結(jié)束的時(shí)候也還遠(yuǎn)遠(yuǎn)達(dá)不到。所以AI計(jì)算趨勢(shì)并不能改變Shulman和 Bostrom做出的結(jié)論，即距離我們能模擬地球上的大腦進(jìn)化還遠(yuǎn)著呢——哪怕開(kāi)支可以快速增長(zhǎng)也不行，這一計(jì)算里程碑需要摩爾定律再發(fā)展好幾十年才可能達(dá)到。

總的說(shuō)來(lái)，我們可以看到盡管大腦進(jìn)化里程碑遠(yuǎn)遠(yuǎn)超出AI計(jì)算趨勢(shì)之所能及，但其他的里程碑則未必。按照其中一些估計(jì)——尤其是代謝組估計(jì)的標(biāo)準(zhǔn)，人類兒童和AlphaGo Zero游戲里程碑也沒(méi)法達(dá)到。但如果未來(lái)幾年AI計(jì)算趨勢(shì)繼續(xù)下去的話，人類兒童與AlphaGo Zero游戲里程碑就能實(shí)現(xiàn)。

3、討論與限制

根據(jù)這一分析，自然就要提出一個(gè)合理的問(wèn)題：為了預(yù)測(cè)AGI，我們最應(yīng)該關(guān)注哪一個(gè)里程碑呢?這個(gè)問(wèn)題的不確定性太大了，不過(guò)我想形成AGI要比大腦進(jìn)化里程碑容易些，但是那種AGI可以在AlphaGo Zero游戲里程碑達(dá)到之前或者之后實(shí)現(xiàn)。

***點(diǎn)是銀為大腦進(jìn)化里程碑假設(shè)算法發(fā)現(xiàn)的過(guò)程必須由AI自己執(zhí)行。但對(duì)我來(lái)說(shuō)人類設(shè)計(jì)師以毫無(wú)計(jì)算成本(或者相對(duì)于模擬進(jìn)化所需成本不值一提)的方式提供適當(dāng)算法(或者大部分)似乎更有可能。

第二點(diǎn)，評(píng)估AGI相對(duì)AlphaGo Zero游戲里程碑的難度要復(fù)雜一些。有人認(rèn)為AlphaGo Zero游戲里程碑使得AGI看起來(lái)太簡(jiǎn)單了，但我們必須考慮到教會(huì)機(jī)器一般智能需要比教會(huì)機(jī)器下圍棋有更多的訓(xùn)練例子。為了執(zhí)行范圍很廣的各類任務(wù)，有必要考慮更大范圍的依賴性以及了解一個(gè)更加復(fù)雜的從動(dòng)作到實(shí)用工具的映射。這件事可以進(jìn)一步探索——通過(guò)比較各種已解決的AI問(wèn)題的樣本效能，然后基于一般智能的復(fù)雜程度要高多少來(lái)推斷AGI的樣本效能。然而，還有一些原因?qū)е翧lphaGo Zero游戲里程碑也許讓事情變得太困難了。首先，AlphaGo Zero并未使用任何已有知識(shí)，而AGI系統(tǒng)可能是需要這個(gè)的。如果我們看看當(dāng)初的AlphaGo的話，它所需要的局?jǐn)?shù)相對(duì)于AlphaGo Zero來(lái)說(shuō)本來(lái)是應(yīng)該少一個(gè)數(shù)量級(jí)的，而更一般的學(xué)習(xí)任務(wù)可能還能進(jìn)一步提升效能幅度。其次，通過(guò)模擬人腦的做法可能會(huì)有1到多個(gè)數(shù)量級(jí)的保守性內(nèi)置。基于目前的硬件配置來(lái)模擬人腦來(lái)執(zhí)行其計(jì)算功能可能效率會(huì)相當(dāng)?shù)停阂布词钦f(shuō)，人腦也許只使用所需的其中一小部分的計(jì)算來(lái)模擬。所以很難判斷達(dá)到AlphaGo Zero里程碑對(duì)于AGI來(lái)說(shuō)究竟是太早還是太晚了。

還有一個(gè)原因可以更加確保AGI的實(shí)現(xiàn)也許也許6年以上的時(shí)間。我們只需要看看AI計(jì)算趨勢(shì)然后問(wèn)問(wèn)自己：AGI跟AlphaGo Zero的關(guān)系是不是像AlphaGo Zero跟AlexNet(編者注：AlexNet是2012年誕生的)那樣近呢?如果我們認(rèn)為***對(duì)的差異大過(guò)第二對(duì)的差異的話，那我們就應(yīng)該認(rèn)為AGI不是6年的時(shí)間可以實(shí)現(xiàn)的。

總之，我們可以看到AI計(jì)算趨勢(shì)是一個(gè)極其高速的發(fā)展趨勢(shì)，快到經(jīng)濟(jì)力量(假設(shè)GDP不會(huì)出現(xiàn)大幅增長(zhǎng))在3.5到10年之內(nèi)就無(wú)法跟上的地步。但哪怕還能維持幾年，這股趨勢(shì)的發(fā)展也已經(jīng)夠快了，快到可以突破某些貌似相當(dāng)于AGI需求的計(jì)算里程碑。其中就包括利用Hodgkin Huxley神經(jīng)元模擬人腦思考18年所需的計(jì)算量。然而，其他的里程碑在經(jīng)濟(jì)因素導(dǎo)致AI計(jì)算趨勢(shì)終止前都無(wú)法實(shí)現(xiàn)。比方說(shuō)這里的分析表明我們(至少)在幾十年內(nèi)都無(wú)法擁有足夠的算力來(lái)模擬人腦的進(jìn)化。