最近，美國計算機科學(xué)家，圖靈獎獲得者Jack Dongarra表示，機器學(xué)習(xí)的硬件正在被我們大量使用。

這是一個不爭的事實。

和任何一個機器學(xué)習(xí)的開發(fā)人員聊聊天，你就能發(fā)現(xiàn)，運行或者建立一個GPT模型真的太貴了。

主要原因就是，對傳統(tǒng)的，和過時的GPU的高度依賴。

Dongarra進(jìn)一步強調(diào)，我們必須更好地利用已有的資源，這件事是非常有必要的。

他認(rèn)為，為了資源的更高效利用，我們應(yīng)該找到最好的應(yīng)用方式、最恰當(dāng)?shù)沫h(huán)境。同時，軟件框架的開發(fā)也同樣重要。合適的框架可以有效推動計算，支持硬件性能。

具體來說，Dongarra提出了一種多維的計算方法，這是一種囊括CPU、GPU、機器學(xué)習(xí)、神經(jīng)形態(tài)、光學(xué)，以及量子計算等等各種技術(shù)的高性能計算機。

量子技術(shù)是一個有發(fā)展前景的領(lǐng)域。因此，Dongarra認(rèn)為，上面提到的這些，都會是未來高性能計算機的一部分。

「把他們結(jié)合在一起，我們才能應(yīng)對未來更多的挑戰(zhàn)。」

資本與創(chuàng)新，兩手抓

Dongarra認(rèn)為，資本與創(chuàng)新兩手抓是非常有必要的。

亞馬遜有自己的硬件資源——Graviton，谷歌有TPU，微軟也有自己的硬件。

這一切的基礎(chǔ)是——他們有錢，可以投資研發(fā)各種硬件。

而Dongarra表示，在高性能計算的研究領(lǐng)域，經(jīng)費就沒這么充足了。

簡單來說，沒那么多錢，投資不了硬件來解決具體問題。

在將蘋果公司的技術(shù)實力與惠普和IBM等傳統(tǒng)計算機公司進(jìn)行比較時，Dongarra指出了市值上的巨大差異。雖然蘋果公司的價值飆升至數(shù)萬億美元，但惠普和IBM的市值總和還沒有達(dá)到萬億美元大關(guān)。

"我們有基于云的公司，他們的收入數(shù)額可以創(chuàng)新，并建立自己的硬件。例如，iPhone由許多處理器組成，專門為幫助iPhone做什么而設(shè)計。他們正在用硬件取代軟件。他說："他們這樣做是因為它更快，而且與一般的高性能計算社區(qū)有很大不同。

另一方面，超級計算機主要是使用英特爾和AMD等公司的現(xiàn)成組件構(gòu)建的。這些處理器通常輔以GPU，整個系統(tǒng)通過InfiniBand或以太網(wǎng)等技術(shù)連接。

Dongarra解釋說，依賴這些超級計算機的科學(xué)家面臨著資金限制，限制了他們投資于專門的硬件開發(fā)的能力。

IBM一直處于量子的前沿，但在上周的一次會議上，首席執(zhí)行官Arvind Krishna公布了一個愿景，強調(diào)在未來十年內(nèi)，IBM將混合云技術(shù)和人工智能與量子計算相結(jié)合的潛力。

雖然該公司通常被認(rèn)為是傳統(tǒng)的，因為它專注于硬件，但最近在生成性人工智能方面的飛躍表明了這一點。

LINPACK背后的故事

Dongarra在計算機科學(xué)還沒發(fā)展起來之前，想當(dāng)一名高中老師。

后來，他展現(xiàn)出了他通才的一面。

Dongarra在芝加哥附近的阿貢國家實驗室工作期間，對數(shù)值方法和軟件開發(fā)產(chǎn)生了濃厚興趣。

在他從事數(shù)值計算軟件開發(fā)工作的過程中，他的經(jīng)歷進(jìn)一步鞏固了他對這個領(lǐng)域的興趣。

這段經(jīng)歷讓Dongarra獲得了碩士學(xué)位。

不久之后，Dongarra開始了他在新墨西哥大學(xué)的征程。在此期間，他通過創(chuàng)建LINPACK基準(zhǔn)測試，對超級計算機性能的衡量做出了突破性貢獻(xiàn)。

后來，他又與Hans Meuer共同創(chuàng)建了1993年的標(biāo)志性Top500榜單，跟蹤高性能計算的進(jìn)展，展示全球最快的計算機。

如今，Dongarra通過在田納西大學(xué)的持續(xù)研究，繼續(xù)塑造計算的未來，探索超級計算和人工智能的融合。隨著人工智能和機器學(xué)習(xí)繼續(xù)發(fā)展，他的工作現(xiàn)在集中在優(yōu)化高性能系統(tǒng)上算法的性能，實現(xiàn)更快、更準(zhǔn)確的計算。

「2001太空漫游」的粉絲

Dongarra是誰？他是1980年代，在計算機領(lǐng)域不得不提到的人物。

「幾乎在每個轉(zhuǎn)折點，我們都能看到計算機科學(xué)家尋找解決問題的替代方法。現(xiàn)在，他們將AI視為一種方法。但是人工智能不會解決問題，它會在解決問題的方案上幫助他們，」2021年ACM圖靈獎的獲得者這樣說道。

他因為對保證高性能計算軟件與硬件技術(shù)的進(jìn)步保持同步的貢獻(xiàn)而獲得了這個獎項。

「人工智能最近真正起飛了，造成這一點的原因有很多——一是因為，我們今天在互聯(lián)網(wǎng)上擁有大量的數(shù)據(jù)。可以挖掘這些資源來訓(xùn)練AI。同時，我們有可以以非常快的速度進(jìn)行計算的處理器，我們有可以被優(yōu)化并在幫助訓(xùn)練中非常有效地使用的計算設(shè)備。」

Dongarra還強調(diào)了線性代數(shù)在人工智能算法中的關(guān)鍵作用，強調(diào)了高效矩陣乘法和最陡下降算法的重要性。

「許多事情都已經(jīng)到位，讓人工智能機器學(xué)習(xí)成為一個非常有用的資源。AI在許多科學(xué)領(lǐng)域都產(chǎn)生了巨大影響，比如藥學(xué)、氣候建模和生物學(xué)、藥物發(fā)現(xiàn)、宇宙學(xué)和高能物理學(xué)。」他進(jìn)一步補充道。

而關(guān)于通用人工智能（AGI），Dongarra認(rèn)為，我們應(yīng)該開發(fā)機器來自動化日常任務(wù)，協(xié)助科學(xué)模擬和建模。

但他認(rèn)為，我們應(yīng)該保持謹(jǐn)慎，因為網(wǎng)絡(luò)上大量未經(jīng)過濾的信息可能會誤導(dǎo)人。

Dongarra還是電影2001：太空漫游的粉絲。

「《2001：太空漫游》是一部很好的電影，它以一種獨特的方式看待AI。我第一次看到它的時候覺得它很吸引人，我到現(xiàn)在還是很喜歡這個故事。這部電影里包含不少和今天相關(guān)的東西。」他總結(jié)道。

參考資料：

https://analyticsindiamag.com/turing-award-winner-warns-of-machine-learning-hardware-abuse/