ChatGPT之父提新版摩爾定律!宇宙智能數(shù)量每18個月翻一番
今天,「ChatGPT之父」Sam Altman在社交媒體稱,
一個全新的摩爾定律可能很快就會出現(xiàn),即宇宙中的智能數(shù)量每18個月翻一番。
觀點一出,直接炸了一波。
就連馬庫斯坐不住了,向其潑了一盆冷水,直言道,是AI的炒作量每18個月翻一番。
那么,對于Altman提到的宇宙中智能數(shù)量,我們該用什么指標來衡量這種增長?
根據(jù)現(xiàn)有的研究可以推測,一種擬合的評估方式如下:
- 運算能力
- 學術(shù)刊物
- 專利數(shù)量
- 數(shù)據(jù)存儲
新版摩爾定律,也要背靠算力
一直以來,摩爾定律是半導體行業(yè)背后奉行的金科玉律:每隔18-24個月,封裝在微芯片上的晶體管數(shù)量便會增加一倍,芯片的性能也會隨之翻一番。
而如今,ChatGPT爆火出圈,是繼2016年AlphaGo戰(zhàn)勝李世石后,人工智能又一重大進步。
根據(jù)「2022年人工智能現(xiàn)狀報告」,機器學習中的計算需求加速增長。根據(jù)每個模型的訓練計算量翻倍的時間,它確定了機器學習的三個時代。
前深度學習時代(2010年前,訓練計算量每20個月翻一番),深度學習時代(2010-15年,每6個月翻一番),以及大規(guī)模時代(2016年至今,100-1000倍增長,然后每10個月翻一番)。
要知道,ChatGPT的誕生,以及人人能夠訪問ChatGPT背后離不開的是算力。
在最新的財報會議上,英偉達CEO黃仁勛稱,英偉達的GPU在過去的十年里將AI的處理性能提高了100萬倍。
摩爾定律在其最好的日子里,可以在十年內(nèi)實現(xiàn) 100 倍的增長。通過提出新處理器、新系統(tǒng)、新互連、新框架和算法,并與數(shù)據(jù)科學家、AI研究人員合作開發(fā)新模型,在整個跨度中,我們已經(jīng)使大型語言模型的處理速度提高了一百萬倍。
換句話說,沒有英偉達,就沒有ChatGPT。據(jù)稱,這一模型運行在10,000個英偉達GPU上。
像GPT-3這樣的大型語言模型需要大量計算能力來進行初始訓練。
即使是用于訓練模型的最大GPU的內(nèi)存容量也有限,而需要多個處理器并行運行。
那么,使用ChatGPT進行實時查詢,也是需要多個處理器。
英偉達和微軟研究論文稱,有1750億參數(shù)的GPT-3模型在單個V100上估計訓練需要288年。即使我們能夠在單個GPU中擬合模型,所需的大量計算也會帶來不切實際的漫長訓練時間。
使用并行運行的處理器是加快速度的最常見解決方案,但也有局限性,因為超過一定數(shù)量的GPU,每個GPU的批處理量變得太小,進一步增加數(shù)量變得不可行,反而增加了成本。
這樣一來,GPU的處理能力成為先進人工智能模型的前提。
位于愛丁堡大學的超級計算中心,英國電子政務委員會(ePCC)主任Mark Parsons教授稱,最大極限是使用大約1000個GPU,而解決這一問題最可行的方法是一臺專用的人工智能超級計算機。
即使GPU可以變得更快,但瓶頸仍然存在,因為GPU和系統(tǒng)之間的互連不夠快。
隨著GPT和其他大模型不斷發(fā)展,并行訓練的一些難點正在得到解決。
AI論文發(fā)表量倍增
另外,全球?qū)W術(shù)出版物和專利也是衡量宇宙智能數(shù)量的標準。
2022斯坦福AI指數(shù)報告顯示,過去十年,全球AI論文發(fā)表量實現(xiàn)翻番,從2010年的162444篇增長到334497篇,且逐年遞增。
具體而言,模式識別和機器學習領(lǐng)域的論文,僅2015年至2021年的6年間,就實現(xiàn)了倍增。
其它諸如計算機視覺、數(shù)據(jù)挖掘和自然語言處理等領(lǐng)域,保持了比較平穩(wěn)的發(fā)展。
在專利方面,根據(jù)世界知識產(chǎn)權(quán) (WIPO) 報告,2021年共提交了340萬件專利申請,是有史以來最高的年度總數(shù)。
在全球范圍內(nèi),專利申請從1995年的100萬件增加到2010年的200萬件,然后是2016年的300萬件。
2021年,亞太國家占全球?qū)@暾埖娜种陨希渲兄袊越?60萬件專利申請領(lǐng)先。日本的專利申請總量位居第三,超過28.9萬件。
在亞太地區(qū)之外,美國以略高于590,000的記錄位居第二。
聽君一席話,如聽一席話
IEEE/ACM Fellow,IBM研究院軟件工程首席科學家Grady Booch:
對于Altman這一句話給大家整的也挺懵圈,智能,到底是什么智能?
他說的是 「智能」,并沒有把增長限制在人工智能甚至軟件上。
有網(wǎng)友端上了Intelligence的定義。
有網(wǎng)友直接將其稱為,Altman's Law。
ChatGPT,看科技大佬點評
1. Bill Gates
人工智能具有改變世界的力量,與個人電腦和互聯(lián)網(wǎng)同樣重要。ChatGPT仍不完美,比如回答數(shù)學問題時出現(xiàn)明顯錯誤,不過他目前還是對其在教學、提供醫(yī)療建議等方面的應用潛力感到興奮。
2. 谷歌首席執(zhí)行官Sundar Pichai
人工智能是Alphabet正在開發(fā)的最深刻的技術(shù)。面對ChatGPT崛起,谷歌也正在開發(fā)AI驅(qū)動的聊天機器人Bard并在二月初向公眾演示,計劃在未來幾周內(nèi)發(fā)布。
3. 微軟首席執(zhí)行官Satya Nadella
Nadella對人工智能持樂觀但謹慎的態(tài)度。微軟正在大踏步建立AI技術(shù),已經(jīng)推出了配備對話式聊天機器人的新必應搜索引擎,但對于更加強大的AI,Nadella堅持人類需要有不容置疑的掌控能力。
4. Elon Musk
馬斯克表示人工智能是未來文明的最大風險之一,它承載著巨大的希望,也隱含著巨大的危險,因此即使對于人工智能的監(jiān)管是必要的,即使這可能一定程度上阻礙其發(fā)展。事實上,在與Sam Altman共同創(chuàng)立OpenAI時,他就認為人工智能是人類最大的威脅之一。
5. 蘋果聯(lián)合創(chuàng)始人Steve Wozniak
Wozniak認為ChatGPT對人類是十分有幫助的,但我們應當警惕它可能因為不了解人性而犯下的嚴重錯誤。這類似于人們對自動駕駛的警惕,我們了解人會做什么而清楚其他司機的反應,如果由AI來駕駛我們可能無法感到安心。
6. John Carmack
隨著ChatGPT等AI工具的興起,人工智能正向著復制人類功能的目標邁進,也許在短短十年內(nèi)AI就能做到像人類一樣思考和行動。
7. 互聯(lián)網(wǎng)之父Vint Cerf
Cerf希望投資者在向人工智能傾注金錢時慎重考慮,畢竟技術(shù)并不總按人們所希望或者媒體所炒作的道路發(fā)展,引發(fā)變革的關(guān)鍵還是在于人類本身。