人類一生所學(xué)不過4GB,加州理工頂刊新研究引熱議
24小時(shí)不間斷學(xué)習(xí)且不遺忘,一輩子也只有4GB的“知識儲(chǔ)量”?
科學(xué)家們最新研究,計(jì)算出了人類學(xué)習(xí)積累上限,就這么多~~(甚至還不如一塊U盤能裝)。
這是來自Cell旗下神經(jīng)科學(xué)頂刊Neuron上的一項(xiàng)工作,它提出了一個(gè)發(fā)人深省的悖論:
人類信息處理速度僅為每秒10bit,而我們的感官系統(tǒng)卻能以每秒10億bit的速率收集數(shù)據(jù)。
由此,按照每秒10bit的速度來算,人類24小時(shí)不間斷學(xué)習(xí)且不遺忘,100年儲(chǔ)存的知識也不過4GB。
什么概念呢?來和大模型做個(gè)對比:
大語言模型每個(gè)參數(shù)就能存儲(chǔ)2bit知識,一個(gè)70億參數(shù)的模型就能存儲(chǔ)140億bit的知識。
△結(jié)論來自華人學(xué)者朱澤園”Physics of Language Models”系列論文
難怪研究人員還提出了一項(xiàng)推論:
隨著算力的不斷提升,機(jī)器在各類任務(wù)中的表現(xiàn)超越人類只是時(shí)間問題。
另外,按照這項(xiàng)研究的結(jié)論,馬斯克目前的腦機(jī)接口研究也有問題了。
研究人員表示:
我們預(yù)測馬斯克的大腦與計(jì)算機(jī)的通信速率大約為10bit/s。與其使用Neuralink的電極束,不如直接使用電話,因?yàn)殡娫挼臄?shù)據(jù)傳輸率已經(jīng)被設(shè)計(jì)得與人類語言相匹配,而人類語言又與感知和認(rèn)知的速度相匹配。
一時(shí)間,這一系列驚人推論在學(xué)術(shù)圈各大社區(qū)引起廣泛討論。
美國知名醫(yī)師科學(xué)家、斯克里普斯轉(zhuǎn)化研究所創(chuàng)始人Eric Topol也忍不住下場轉(zhuǎn)發(fā)。
為啥我們一次只能思考一件事呢?
所以,結(jié)論如何得出的?
中樞神經(jīng)系統(tǒng)“串行”影響信息處理速率
簡單說,要想計(jì)算人一輩子能學(xué)多少知識,我們得先從大腦處理信息的速度說起。
從對幾項(xiàng)日常活動(dòng)(如打字、說話演講、擰魔方等)的評估來看,他們初步得出“大腦處理信息的速度約為10bits/s”這一結(jié)論。
以人類打字為例,高級打字員每分鐘能打120個(gè)單詞(每秒2個(gè)),平均每個(gè)單詞按5bit計(jì)算,那么信息傳輸速率就是10bits/s。
同樣,若以英語演講為例,如果將節(jié)奏控制在舒適程度——講話速度為每分鐘160個(gè)單詞,則信息傳輸速率為13bits/s,略高于打字。
再比如“盲擰魔方”這項(xiàng)競技活動(dòng),選手需先觀察魔方幾秒,然后閉眼還原。以一次世界紀(jì)錄的成績12.78s為例,其中觀察階段約5.5s,由于魔方可能的排列數(shù)約為4.3x1016≈265,則最終信息傳輸速率約為11.8bits/s。
使用類似方式,作者估算了更多場景下的信息處理速度(從經(jīng)典實(shí)驗(yàn)室實(shí)驗(yàn)到現(xiàn)代電子競技等),結(jié)果顯示為5~50bits/s之間。
由此也得出一個(gè)整體結(jié)論:人類思考的速度始終在10bits/s的尺度范圍內(nèi)。
按照這一標(biāo)準(zhǔn),假設(shè)我們能活100歲,每天24小時(shí)不間斷學(xué)習(xí)(且剔除遺忘因素),那么我們最終的“知識儲(chǔ)量”也將不到4GB。
事實(shí)上,與10bits/s形成鮮明對照的是——人類感官系統(tǒng)以約10億bits/s的速率收集數(shù)據(jù)。
10bits/s VS 10億bits/s
具體來說,我們每天從周圍環(huán)境中獲取信息的速率就以Gbps/s起算。
舉個(gè)栗子,視覺系統(tǒng)中單個(gè)視錐細(xì)胞能以270bits/s的速度傳輸信息,而一只眼睛就擁有約600萬個(gè)視錐細(xì)胞。
那么,光是雙眼視覺系統(tǒng)接收信息的速度就高達(dá)3.2Gbps/s。照此推算,我們接收信息的速度與處理信息的速度之間的差距比值竟然達(dá)到了108:1。
要知道,人類大腦里有超過850億個(gè)神經(jīng)元,其中三分之一集中在大腦皮層組成了復(fù)雜的神經(jīng)網(wǎng)絡(luò)。也就是說,明明單個(gè)神經(jīng)元就能輕松處理超過10bits/s的信息。
而現(xiàn)在所觀察到的現(xiàn)象卻與之不符,顯而易見,上述二者之間存在一定矛盾。
從神經(jīng)元本身的性能來看,它們具備快速處理和傳輸信息的能力,但這并沒有直接轉(zhuǎn)化為整體認(rèn)知速度的提升,說明還有其他因素在起作用。
那么,為什么人類信息處理速度如此之慢?
按照論文分析,原因可能在以下幾個(gè)方面:
最主要的,中樞神經(jīng)系統(tǒng)在處理信息時(shí)采用的是串行方式,對信息傳輸速率有所限制。
這里要提到并行處理和串行處理之間的區(qū)別。
所謂并行處理,顯然指多個(gè)任務(wù)同時(shí)進(jìn)行。以我們看東西為例,視網(wǎng)膜每秒會(huì)產(chǎn)生100萬個(gè)輸出信號,每一個(gè)信號都是視網(wǎng)膜神經(jīng)元對視覺圖像局部計(jì)算的結(jié)果,由此同時(shí)處理大量視覺信息。
而在中樞神經(jīng)系統(tǒng)中,他們觀察到了一種“心理不應(yīng)期”(psychological refractory period)效應(yīng),即同時(shí)面對多個(gè)任務(wù),中樞神經(jīng)系統(tǒng)只將注意力集中在一個(gè)任務(wù)上。
當(dāng)然,他們也進(jìn)一步探究了出現(xiàn)“串行”背后的原因,結(jié)論是這與演化過程早期的神經(jīng)系統(tǒng)功能有關(guān)。
展開來說,那些最早擁有神經(jīng)系統(tǒng)的生物,核心利用大腦來檢測氣味分子的濃度梯度,以此判斷運(yùn)動(dòng)方向進(jìn)行捕食和避開敵人。長此以往,這種特定功能需求使得大腦逐漸形成了“一次處理一個(gè)任務(wù)”的認(rèn)知架構(gòu)。
在進(jìn)化過程中,大腦的這種架構(gòu)逐漸固化,雖然隨著物種的進(jìn)化,大腦的功能越來越復(fù)雜,但這種早期形成的認(rèn)知架構(gòu)仍然在一定程度上限制了我們同時(shí)處理多個(gè)任務(wù)和快速處理信息的能力。
除此之外,還有理論認(rèn)為存在 “注意瓶頸” 等限制了信息處理。注意力是認(rèn)知過程中的一個(gè)重要因素,它就像一個(gè)瓶頸,限制了能夠進(jìn)入認(rèn)知加工階段的信息數(shù)量和速度,不過其具體運(yùn)作機(jī)制目前人類尚未完全理解。
總之,按照論文的觀點(diǎn),10bits/s這樣的速度已經(jīng)可以滿足人類生存需求,之所以還存在龐大的神經(jīng)元網(wǎng)絡(luò),原因可能是我們需要頻繁切換任務(wù),并整合不同神經(jīng)回路之間的信息。
馬斯克腦機(jī)接口過于理想化
不過話雖如此,鑒于10bits/s和10億bits/s之間的巨大差距,人類越來越無法忍受慢節(jié)奏了。
由此論文也得出一個(gè)推斷:隨著算力的不斷提升,機(jī)器在各類任務(wù)中的表現(xiàn)超越人類只是時(shí)間問題。
換成今天的話說,以AI為代表的新物種將大概率逐漸“淘汰”人類。
另外,論文還順帶調(diào)侃了馬斯克的腦機(jī)接口系統(tǒng)。
其中提到,馬斯克的行動(dòng)基于肉體帶寬不足對處理信息的限制。按照老馬的設(shè)想,一旦通過高帶寬接口直接連接人腦和計(jì)算機(jī),人類就可以更自由地和AI交流,甚至共生。
然而他們認(rèn)為這一想法有些過于理想化。
10bits/s的限制源于大腦基本結(jié)構(gòu),一般無法通過外部設(shè)備來突破。
由此也提出開頭提到的建議:
與其使用Neuralink的電極束,不如直接使用電話,因?yàn)殡娫挼臄?shù)據(jù)傳輸率已經(jīng)被設(shè)計(jì)得與人類語言相匹配,而人類語言又與感知和認(rèn)知的速度相匹配。
不過上述言論也并非意味著他們對腦機(jī)接口失去信心,他們認(rèn)為其關(guān)鍵并不在于突破信息速率限制,而是以另一種方式提供和解碼患者所需信息。
作者之一為上海交大校友
這項(xiàng)研究由來自加州理工學(xué)院生物學(xué)與生物工程系的兩位學(xué)者完成。
Jieyu Zheng目前是加州理工學(xué)院五年級博士研究生,她還是上海交大本科校友,還有康奈爾大學(xué)生物工程學(xué)士學(xué)位,在劍橋大學(xué)獲得教育與心理學(xué)碩士學(xué)位。
她的研究重點(diǎn)聚焦于認(rèn)知靈活性、學(xué)習(xí)和記憶,特別關(guān)注大腦皮層和海馬體在這些功能中的核心作用。目前她正在進(jìn)行一個(gè)名為“曼哈頓迷宮中的小鼠”項(xiàng)目。
Markus Meister是Jieyu Zheng的導(dǎo)師,1991年起在哈佛大學(xué)擔(dān)任教授,2012年于加州理工學(xué)院擔(dān)任生物科學(xué)教授,研究領(lǐng)域是大型神經(jīng)回路的功能,重點(diǎn)關(guān)注視覺和嗅覺的感官系統(tǒng)。
Markus Meister曾于1993年被評為Pew學(xué)者,2009年因其在視覺和大腦研究方面的貢獻(xiàn)獲Lawrence C. Katz神經(jīng)科學(xué)創(chuàng)新研究獎(jiǎng)以及Minerva基金會(huì)頒發(fā)的“金腦獎(jiǎng)”。
新研究發(fā)布后,作者們就在X上當(dāng)起了自個(gè)兒的自來水。
我們提出的特征是腦科學(xué)中最大的未解數(shù)值。
Markus Meister還調(diào)侃每秒10bit的處理速度可是經(jīng)過了同行評審的。
隨后學(xué)術(shù)圈各大社區(qū)也針對這項(xiàng)研究開始討論起來。
有人認(rèn)為論文讀起來很有意思,發(fā)人深省:
簡化內(nèi)容,只聚焦于中樞神經(jīng)系統(tǒng)并且將討論的內(nèi)容分為內(nèi)部和外部大腦兩部分后,更有意義了。
這是一個(gè)非常重要的視角,值得深思……
然鵝,也有不少人提出疑問。
我越想這篇論文中的某些估計(jì),就越懷疑。例如,關(guān)于打字員與聽者之間比特率的等效性(S.3)似乎有誤。正如香農(nóng)所指出的,英文字母的熵約為每字符1bit。但如果是一連串的單詞或是概念,情況又如何呢?
作者默認(rèn)了一個(gè)假設(shè),即每秒10bit是慢的。與我們在硅基底上實(shí)現(xiàn)的通用計(jì)算系統(tǒng)相比,這的確很慢,但這種假設(shè)并不能線性地轉(zhuǎn)化為大腦的信息吞吐量和存在的感知。
對于這項(xiàng)研究,你有什么看法呢?
論文鏈接:https://arxiv.org/pdf/2408.10234