五年后AI所需算力超100萬倍!十二家機(jī)構(gòu)聯(lián)合發(fā)表88頁長文:「智能計算」是解藥
人工智能就是一個「拼財力」的行業(yè),如果沒有高性能計算設(shè)備,別說開發(fā)基礎(chǔ)模型,就連微調(diào)模型都做不到。
但如果只靠拼硬件,單靠當(dāng)前計算性能的發(fā)展速度,遲早有一天無法滿足日益膨脹的需求,所以還需要配套的軟件來協(xié)調(diào)統(tǒng)籌計算能力,這時候就需要用到「智能計算」技術(shù)。
最近,來自之江實驗室、中國工程院、國防科技大學(xué)、浙江大學(xué)等多達(dá)十二個國內(nèi)外研究機(jī)構(gòu)共同發(fā)表了一篇論文,首次對智能計算領(lǐng)域進(jìn)行了全面的調(diào)研,涵蓋了理論基礎(chǔ)、智能與計算的技術(shù)融合、重要應(yīng)用、挑戰(zhàn)和未來前景。
論文鏈接:?https://spj.science.org/doi/10.34133/icomputing.0006?
這也是第一篇正式提出智能計算的定義及其統(tǒng)一理論框架的評論文章,全文結(jié)構(gòu)如下。
AI開啟大規(guī)模算力時代
人類社會正在從信息社會進(jìn)入智能社會,計算已經(jīng)成為規(guī)范和推動社會發(fā)展的關(guān)鍵因素。在萬物互聯(lián)的數(shù)字文明新時代,傳統(tǒng)的數(shù)據(jù)計算遠(yuǎn)遠(yuǎn)不能滿足人類對更高智能水平的日益增長的需求。
人們對智能計算的興趣日益濃厚,加上計算科學(xué)的發(fā)展,對物理世界的智能感知,以及對人類意識認(rèn)知機(jī)制的理解,共同提升了計算的智能水平,加速了知識的發(fā)現(xiàn)和創(chuàng)造。
近年來,計算和信息技術(shù)快速發(fā)展,由于深度學(xué)習(xí)的空前普及和成功,人工智能(AI)已被確立為人類探索機(jī)器智能的前沿領(lǐng)域,并在此基礎(chǔ)上取得了一系列突破性的研究成果,包括:
Yann LeCun提出的卷積神經(jīng)網(wǎng)絡(luò)(CNN);Yoshua Bengio在深度學(xué)習(xí)的因果推理領(lǐng)域的貢獻(xiàn);Geoffrey Hinton,人工智能的先驅(qū)之一,在2006年提出了深度置信網(wǎng)絡(luò)(Deep Brief Network)模型和反向傳播優(yōu)化算法。
J?urgen Schmidhuber提出了廣為使用的循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)和長短期記憶(LSTM),并成功用于處理序列數(shù)據(jù),如語音、視頻和時序數(shù)據(jù)。
2016年3月,DeepMind推出的人工智能圍棋程序AlphaGo與世界頂級人類圍棋大師李世石展開對戰(zhàn),引起了全世界前所未有的關(guān)注,這場劃時代的人機(jī)大戰(zhàn)以人工智能的壓倒性勝利而告終,并成為將人工智能的浪潮推向一個全新的高度的催化劑。
人工智能的另一個重要推動者是大型預(yù)訓(xùn)練模型的出現(xiàn),這些模型已經(jīng)開始廣泛用于自然語言和圖像處理,在遷移學(xué)習(xí)的幫助下處理各種各樣的應(yīng)用。
例如,GPT-3已經(jīng)證明,一個具有高度結(jié)構(gòu)復(fù)雜性和大量參數(shù)的大型模型可以提高深度學(xué)習(xí)的性能,在GPT-3的啟發(fā)下,涌現(xiàn)了大量的大規(guī)模深度學(xué)習(xí)模型。
智能和計算
計算能力是支撐智能計算的重要因素之一。
鑒于信息社會中天文數(shù)字般的數(shù)據(jù)源、異構(gòu)的硬件配置和不斷變化的計算需求,智能計算主要通過垂直和水平架構(gòu)來滿足智能任務(wù)的計算能力要求。
垂直架構(gòu)(vertical architectures)的特點(diǎn)是同質(zhì)化的計算基礎(chǔ)設(shè)施,主要通過應(yīng)用智能方法提高資源利用效率來提升計算能力。
相比之下,水平架構(gòu)(horizontal architecture)協(xié)調(diào)和安排異構(gòu)和廣域(wide-area)計算資源以最大限度地提高協(xié)作計算的效率。
例如,2020年4月,為了應(yīng)對全球COVID-19研究的計算需求,F(xiàn)olding@home在三周內(nèi)聯(lián)合40萬名計算志愿者實現(xiàn)了2.5Exaflops的計算量,比世界上任何一臺超級計算機(jī)的計算能力都要強(qiáng)。
盡管在智能和計算方面已經(jīng)取得了巨大的成功,但這兩個領(lǐng)域仍然面臨著一些難題。
智能的挑戰(zhàn)
使用深度學(xué)習(xí)的人工智能目前在可解釋性、通用性、可進(jìn)化性和自主性方面仍沒有解決。
目前的大多數(shù)人工智能技術(shù)與人類智能相比,只能發(fā)揮微弱的作用,而且只在特定的領(lǐng)域或任務(wù)中發(fā)揮作用,實現(xiàn)強(qiáng)大且通用的人工智能仍有很長的路要走。
最后,從基于數(shù)據(jù)的智能升級到更多樣化的智能形式,包括感知智能、認(rèn)知智能、自主智能和人機(jī)融合智能等,也存在重大的理論和技術(shù)挑戰(zhàn)。
計算的挑戰(zhàn)
數(shù)字化浪潮帶來了前所未有的應(yīng)用、連接、終端和用戶的增長,以及產(chǎn)生的數(shù)據(jù)量,都需要巨大的計算能力。
例如,人工智能所需的計算能力每100天翻一番,也就是說,預(yù)計在未來五年內(nèi)將增加超過100萬倍。
隨著摩爾定律逐漸失效,要跟上如此快速增長的計算能力要求變得很有挑戰(zhàn)性。
摩爾定律:集成電路上可容納的晶體管數(shù)目,約每隔兩年便會增加一倍
智能社會中的大規(guī)模任務(wù)的處理依賴于各種具體計算資源的有效組合,傳統(tǒng)的硬件模式不能很好地適應(yīng)智能算法,極大限制了軟件的發(fā)展。
何為智能計算?
時至今日,仍然沒有一個被廣泛接受的智能計算定義。
一些研究人員將智能計算視為人工智能和計算技術(shù)的結(jié)合,但這種觀點(diǎn)將智能計算的定義限制在人工智能領(lǐng)域內(nèi),同時忽略了人工智能固有的局限性以及人類、機(jī)器和事物之間三元互動的重要作用。
另一個學(xué)派將智能計算(intelligent computing)視為計算智能(computational intelligence),模仿人類或生物智能來實現(xiàn)解決特定問題的最優(yōu)算法,并將智能計算主要視為一種算法創(chuàng)新。
在這篇論文中,研究人員從解決復(fù)雜的科學(xué)和社會問題的角度提出了智能計算的新定義,同時考慮到世界的三個基本空間,即人類社會空間、物理空間和信息空間的日益緊密融合。
Intelligent Computing的定義
智能計算是指在支持世界互聯(lián)的數(shù)字文明時代,包含了新的計算理論方法、架構(gòu)系統(tǒng)和技術(shù)能力的領(lǐng)域。智能計算根據(jù)具體的實際需要,以最小的成本完成計算任務(wù),匹配足夠的計算能力,調(diào)用最好的算法,并能獲得最佳的結(jié)果。
智能計算的新定義是針對人類社會、物理世界和信息空間三者融合中快速增長的計算需求而提出的。智能計算以人為本,追求高計算能力、高能效、高智能、高安全。
其目標(biāo)是提供普遍、高效、安全、自主、可靠和透明的計算服務(wù),以支持大規(guī)模復(fù)雜的計算任務(wù)。 圖1顯示了智能計算的總體理論框架,它體現(xiàn)了支持人類-物理-信息整合的各種計算范例。
首先,智能計算既不是現(xiàn)有計算機(jī)、云計算、邊緣計算以及其他計算技術(shù)(如神經(jīng)形態(tài)計算、光電計算和量子計算)的替代品,也并非是簡單整合。相反,它是一種計算形式,通過根據(jù)任務(wù)要求系統(tǒng)地、全面地優(yōu)化現(xiàn)有的計算方法和資源來解決實際問題。
相比之下,現(xiàn)有的主要計算學(xué)科,如超級計算、云計算和邊緣計算,屬于不同的領(lǐng)域:超級計算旨在實現(xiàn)高計算能力,云計算強(qiáng)調(diào)跨平臺/設(shè)備的便利,而邊緣計算則追求服務(wù)質(zhì)量和傳輸效率。
智能計算動態(tài)地協(xié)調(diào)邊緣計算、云計算和超級計算領(lǐng)域之間的數(shù)據(jù)存儲、通信和計算,構(gòu)建了各種跨領(lǐng)域的智能計算系統(tǒng),支持端到端的云協(xié)作、云間協(xié)作和超級計算互聯(lián)。
智能計算應(yīng)當(dāng)充分利用現(xiàn)有的計算技術(shù),更重要的是促進(jìn)新的智能計算理論、架構(gòu)、算法和系統(tǒng)的形成。
其次,智能計算概念的提出是為了解決未來人類-物理-信息空間融合發(fā)展中的問題。
隨著大數(shù)據(jù)時代信息技術(shù)應(yīng)用的發(fā)展,物理空間、數(shù)字空間和人類社會之間的界限已經(jīng)變得越來越模糊。
人類世界已經(jīng)演變成一個新的空間,其特點(diǎn)是人類、機(jī)器和事物的緊密融合,社會系統(tǒng)、信息系統(tǒng)和物理環(huán)境構(gòu)成了一個動態(tài)耦合的大系統(tǒng),在這個系統(tǒng)中,人、機(jī)器和事物以高度復(fù)雜的方式整合和互動,這促進(jìn)了未來新計算技術(shù)和應(yīng)用場景的發(fā)展和創(chuàng)新。