成人免费xxxxx在线视频软件_久久精品久久久_亚洲国产精品久久久_天天色天天色_亚洲人成一区_欧美一级欧美三级在线观看

谷歌對(duì)齊大模型與人腦信號(hào)!語(yǔ)言理解生成機(jī)制高度一致,成果登Nature子刊

人工智能 新聞
他們將真實(shí)對(duì)話(huà)中的人腦活動(dòng)與語(yǔ)音到文本 LLM 的內(nèi)部嵌入進(jìn)行了比較,結(jié)果兩者之間呈現(xiàn)線(xiàn)性相關(guān)關(guān)系。

谷歌最新發(fā)現(xiàn),大模型竟意外對(duì)應(yīng)人腦語(yǔ)言處理機(jī)制?!

他們將真實(shí)對(duì)話(huà)中的人腦活動(dòng)與語(yǔ)音到文本 LLM 的內(nèi)部嵌入進(jìn)行了比較,結(jié)果兩者之間呈現(xiàn)線(xiàn)性相關(guān)關(guān)系。

比如語(yǔ)言理解順序,首先是語(yǔ)音,然后是詞義;又或者生成順序:先計(jì)劃,再發(fā)音,然后聽(tīng)到自己的聲音。還有像在上下文預(yù)測(cè)單詞,也表現(xiàn)出了驚人的一致性。

其論文發(fā)表在了Nature子刊。

圖片

網(wǎng)友表示:這個(gè)問(wèn)題比大多數(shù)人意識(shí)到的要重要得多。

圖片

谷歌對(duì)齊大模型與人腦信號(hào)

他們引入了一個(gè)統(tǒng)一的計(jì)算框架,將聲學(xué)、語(yǔ)音和單詞級(jí)語(yǔ)言結(jié)構(gòu)聯(lián)系起來(lái),以研究人腦中日常對(duì)話(huà)的神經(jīng)基礎(chǔ)。

他們一邊使用皮層電圖記錄了參與者在進(jìn)行開(kāi)放式真實(shí)對(duì)話(huà)時(shí)語(yǔ)音生成和理解過(guò)程中的神經(jīng)信號(hào),累計(jì)100小時(shí)。另一邊,Whisper中提取了低級(jí)聲學(xué)、中級(jí)語(yǔ)音和上下文單詞嵌入。

然后開(kāi)發(fā)編碼模型,將這些嵌入詞線(xiàn)性映射到語(yǔ)音生成和理解過(guò)程中的大腦活動(dòng)上,這一模型能準(zhǔn)確預(yù)測(cè)未用于訓(xùn)練模型的數(shù)小時(shí)新對(duì)話(huà)中語(yǔ)言處理層次結(jié)構(gòu)各層次的神經(jīng)活動(dòng)。

圖片


結(jié)果他們就有了一些有意思的發(fā)現(xiàn)。

對(duì)于聽(tīng)到的(語(yǔ)音理解過(guò)程中)或說(shuō)出的(語(yǔ)音生成過(guò)程中)每個(gè)單詞,都會(huì)從語(yǔ)音到文本模型中提取兩種類(lèi)型的嵌入:

來(lái)自模型語(yǔ)音編碼器的語(yǔ)音嵌入和來(lái)自模型解碼器的基于單詞的語(yǔ)言嵌入。

通過(guò)估計(jì)線(xiàn)性變換,可以根據(jù)語(yǔ)音到文本的嵌入來(lái)預(yù)測(cè)每次對(duì)話(huà)中每個(gè)單詞的大腦神經(jīng)信號(hào)

比如聽(tīng)到「How are you doing?」,大腦對(duì)語(yǔ)言理解的神經(jīng)反應(yīng)序列be like:

圖片

當(dāng)每個(gè)單詞發(fā)音時(shí),語(yǔ)音嵌入能夠預(yù)測(cè)沿顳上回(STG)的語(yǔ)音區(qū)域的皮層活動(dòng)。

幾百毫秒后,當(dāng)聽(tīng)者開(kāi)始解碼單詞的含義時(shí),語(yǔ)言嵌入會(huì)預(yù)測(cè)布羅卡區(qū)(位于額下回;IFG)的皮層活動(dòng)。

不過(guò)對(duì)于回答者,則是完全相反的神經(jīng)反應(yīng)序列。

在準(zhǔn)備發(fā)音「Feeling Fantastic」之前,在發(fā)音前約 500 毫秒(受試者準(zhǔn)備發(fā)音下一個(gè)單詞時(shí)),語(yǔ)言嵌入(藍(lán)色)預(yù)測(cè)布羅卡區(qū)的皮層活動(dòng)。

幾百毫秒后(仍在單詞發(fā)音之前),當(dāng)說(shuō)話(huà)者計(jì)劃發(fā)音時(shí),語(yǔ)音嵌入(紅色)預(yù)測(cè)運(yùn)動(dòng)皮層(MC)的神經(jīng)活動(dòng)。

圖片

最后,在說(shuō)話(huà)者發(fā)音后,當(dāng)聽(tīng)者聆聽(tīng)自己的聲音時(shí),語(yǔ)音嵌入會(huì)預(yù)測(cè) STG 聽(tīng)覺(jué)區(qū)域的神經(jīng)活動(dòng)。

圖片

這種動(dòng)態(tài)變化反映了神經(jīng)處理的順序——

首先是在語(yǔ)言區(qū)計(jì)劃說(shuō)什么,然后是在運(yùn)動(dòng)區(qū)如何發(fā)音,最后是在感知語(yǔ)音區(qū)監(jiān)測(cè)說(shuō)了什么。

全腦分析的定量結(jié)果顯示,對(duì)于每個(gè)單詞,根據(jù)其語(yǔ)音嵌入(紅色)和語(yǔ)言嵌入(藍(lán)色),團(tuán)隊(duì)預(yù)測(cè)了每個(gè)電極在單詞出現(xiàn)前 -2 秒到出現(xiàn)后 +2 秒(圖中 x 軸值為 0)的時(shí)滯范圍內(nèi)的神經(jīng)反應(yīng)。這是在語(yǔ)音生成(左圖)和語(yǔ)音理解(右圖)時(shí)進(jìn)行的。相關(guān)圖表說(shuō)明了他們對(duì)所有單詞的神經(jīng)活動(dòng)(相關(guān)性)的預(yù)測(cè)準(zhǔn)確度與不同腦區(qū)電極滯后的函數(shù)關(guān)系。

圖片

在語(yǔ)音生成過(guò)程中,IFG 中的語(yǔ)言嵌入(藍(lán)色)明顯先于感覺(jué)運(yùn)動(dòng)區(qū)的語(yǔ)音嵌入(紅色)達(dá)到峰值,隨后 STG 中的語(yǔ)音編碼達(dá)到峰值。相反,在語(yǔ)音理解過(guò)程中,編碼峰值轉(zhuǎn)移到了單詞開(kāi)始之后,STG 中的語(yǔ)音嵌入(紅色)峰值明顯早于 IFG 中的語(yǔ)言編碼(藍(lán)色)峰值。

總之研究結(jié)果表明,語(yǔ)音到文本模型嵌入為理解自然對(duì)話(huà)過(guò)程中語(yǔ)言處理的神經(jīng)基礎(chǔ)提供了一個(gè)連貫的框架。

令人驚訝的是,雖然 Whisper 完全是為語(yǔ)音識(shí)別而開(kāi)發(fā)的,并沒(méi)有考慮大腦是如何處理語(yǔ)言的,但他們發(fā)現(xiàn)它的內(nèi)部表征與自然對(duì)話(huà)過(guò)程中的神經(jīng)活動(dòng)是一致的

盡管大模型在并行層中處理單詞,但人類(lèi)大腦以串行方式處理它們,但反映了類(lèi)似的統(tǒng)計(jì)規(guī)律。

大模型與人類(lèi)大腦之間的吻合揭示了神經(jīng)處理中的 「軟層次 」這一概念,大腦中較低級(jí)別的聲學(xué)處理和較高級(jí)別的語(yǔ)義處理部分重疊。

大模型與人腦之間的異同

日常生活中,人類(lèi)大腦如何處理自然語(yǔ)言?從理論上講,大語(yǔ)言模型和人類(lèi)的符號(hào)心理語(yǔ)言學(xué)模型是兩種完全不同的計(jì)算框架。

但受到大模型成功的啟發(fā),谷歌研究院與普林斯頓大學(xué)、紐約大學(xué)等合作,試圖探索人腦和大模型處理字眼語(yǔ)言的異同。

經(jīng)過(guò)過(guò)去五年一系列研究,他們探索了特定特定深度學(xué)習(xí)模型的內(nèi)部表征(嵌入)與自然自由對(duì)話(huà)過(guò)程中人腦神經(jīng)活動(dòng)之間的相似性,證明了深度語(yǔ)言模型的嵌入,可以作為「理解人腦如何處理語(yǔ)言」的框架。

在此之前,他們就完成了多項(xiàng)研究。

比如2022年發(fā)表在Nature Neuroscience上論文顯示,他們發(fā)現(xiàn)與大模型相似,聽(tīng)者大腦的語(yǔ)言區(qū)域也會(huì)嘗試在下一個(gè)單詞說(shuō)出之前對(duì)其進(jìn)行預(yù)測(cè);而在單詞發(fā)音前對(duì)預(yù)測(cè)的信心會(huì)改變他們?cè)趩卧~發(fā)音后的驚訝程度(預(yù)測(cè)誤差)。

這些發(fā)現(xiàn)證明了自回歸語(yǔ)言模型與人腦共有的起始前預(yù)測(cè)、起始后驚訝和基于嵌入的上下文表征等基本計(jì)算原理。

圖片

還有發(fā)表在Nature Communications另一篇論文中還發(fā)現(xiàn),大模型的嵌入空間幾何圖形所捕捉到的自然語(yǔ)言中單詞之間的關(guān)系,與大腦在語(yǔ)言區(qū)誘導(dǎo)的表征(即大腦嵌入)的幾何圖形一致。

圖片

不過(guò)即便計(jì)算原理類(lèi)似,但他們底層神經(jīng)回路架構(gòu)卻明顯不同。

在一項(xiàng)后續(xù)研究中,他們調(diào)查了與人腦相比,基于Transformer的大模型是如何跨層處理信息的。

結(jié)果發(fā)現(xiàn),雖然跨層非線(xiàn)性變換在 LLMs 和人腦語(yǔ)言區(qū)中相似,但實(shí)現(xiàn)方式卻大相徑庭。Transformer架構(gòu)可同時(shí)處理成百上千個(gè)單詞,而人腦語(yǔ)言區(qū)似乎是按順序、逐字、循環(huán)和時(shí)間來(lái)分析語(yǔ)言的。

基于這些積累的研究成果,他們的目標(biāo)是創(chuàng)建創(chuàng)新的、受生物啟發(fā)的人工神經(jīng)網(wǎng)絡(luò),提高其在現(xiàn)實(shí)世界中處理信息和發(fā)揮作用的能力。

責(zé)任編輯:張燕妮 來(lái)源: 量子位
相關(guān)推薦

2024-02-04 09:20:00

AI量子計(jì)算

2024-06-11 07:40:00

2023-03-06 13:59:38

模型參數(shù)

2023-07-14 11:47:08

AI醫(yī)生

2023-05-08 14:53:00

信號(hào)神經(jīng)框架

2023-12-11 19:08:03

AI模型

2023-03-13 13:24:34

智能Nature

2022-07-12 14:56:30

AI模型研究

2023-03-03 13:06:34

大腦分層預(yù)測(cè)

2024-08-08 13:13:44

2022-10-19 16:08:07

人工智能深度學(xué)習(xí)

2025-06-10 09:04:00

2025-04-03 09:45:51

2020-04-24 12:50:50

AI算法機(jī)器學(xué)習(xí)

2024-04-22 07:30:00

藥物分子模型

2021-09-24 12:25:03

谷歌AI人工智能

2025-02-04 19:26:41

2023-04-12 15:58:58

2023-02-06 08:55:12

學(xué)習(xí)語(yǔ)言模型

2022-07-29 12:09:39

研究AI
點(diǎn)贊
收藏

51CTO技術(shù)棧公眾號(hào)

主站蜘蛛池模板: 蜜桃av鲁一鲁一鲁一鲁 | 日本久久久影视 | 亚洲一区二区三区免费视频 | 黄色免费三级 | 天堂网av在线| 国产美女永久免费无遮挡 | 国产精品免费看 | 欧美一区二区视频 | 国产精品久久久久国产a级 欧美日韩国产免费 | 久久人人网 | 国产传媒毛片精品视频第一次 | 亚洲啪啪一区 | 欧美一区二区三区在线观看视频 | 精品视频国产 | 国产精品中文字幕一区二区三区 | 在线观看中文字幕视频 | 中文字幕视频在线观看 | 中文字幕在线第一页 | 国产一区二区三区高清 | av片免费 | 国产精品欧美精品 | 日本a v在线播放 | 精品欧美一区二区在线观看 | 亚洲视频国产视频 | 亚洲视频一区 | 国产日韩欧美激情 | 日韩高清国产一区在线 | 超碰免费在 | 国产丝袜一区二区三区免费视频 | 久久三区| 欧美一区二区三区 | 成人性视频免费网站 | 日本网站免费在线观看 | 国产一区二区在线视频 | 亚洲精品一区二区在线观看 | 国产一区二区三区四区区 | 国产精品美女久久久久aⅴ国产馆 | 91成人小视频 | av一二三区 | 亚洲九色| 一区二区三区不卡视频 |