Google DeepMind最近在自己的視頻博客上上傳了一段視頻，「簡單明了地」演示了大語言模型的工作原理，引發(fā)了網(wǎng)友的激烈討論。

網(wǎng)友看了之后紛紛表示：

「終于，他們發(fā)了點普通人能看懂的東西了」。

「哦豁，這下懂了」

「對，就是這么簡單！」

「太棒了，感謝感謝，這下我明白了。」

「簡單明了」，「已經(jīng)不能再簡單了！」

當然，也有個別老實人在角落里小聲地嘀咕，「像極了嘴上說著懂了懂了，實際上啥也看不懂的我。」

如果你還不確定自己真的沒懂LLM的工作原理，看了這個視頻之后就能確定你其實真的不懂。??

果然應(yīng)了那句老話，「人類的悲（ren）喜（zhi）并不相通」。

除了皇帝的新裝外，也有網(wǎng)友嘗試解釋DeepMind做出這個作品的深意：

這位網(wǎng)友猜測了這個動畫的誕生原因：「我不敢相信我們?nèi)〉昧耸裁闯删停覀儾荒苷嬲堰@些都拿出來......你能讓實習生發(fā)表一些藝術(shù)和有趣的東西嗎？」

「所以這是一個3D算盤？」

但是有人表示這個「3D算盤」是有現(xiàn)實依據(jù)的，畢竟熟悉神經(jīng)網(wǎng)絡(luò)的朋友可能一下就想到了矩陣：

「我完全不同意。這看起來像是神經(jīng)網(wǎng)絡(luò)架構(gòu)的3D渲染。移動的方塊看起來像是數(shù)據(jù)在Transformer模型或類似模型中移動時對數(shù)據(jù)的矩陣操作。

滑動矩形可以表示卷積神經(jīng)網(wǎng)絡(luò)的滑動窗口，或者可能試圖表示Transformer的注意力機制，這是通過將矩陣相乘來實現(xiàn)的。」

當然也有人嘗試給出更加專業(yè)化的解讀：

如果你對機器學習模型有所了解，那么就能看懂這個動畫描述得其實很到位了。簡單來說就是，每一個非常小的層都負責查看一個非常小的數(shù)據(jù)。

想象圖像中的一組4x4的像素。然后它向更高層發(fā)送一個信號，這個更高的層由許多這樣較小的層組成，說「我認為這是一個熱狗」。

它獲取該信號并將其傳遞到更高的層，高層將每一層組合成一個統(tǒng)計模型。每一層都是矩陣乘法的一種形式。

最終結(jié)果是一個可以根據(jù)小數(shù)據(jù)的統(tǒng)計推斷來預(yù)測某些內(nèi)容的模型。這個過程的基本可視化過程就是視頻里這樣的，需要懂向量數(shù)學才能看懂。

請記住，這些是藝術(shù)家的詮釋方法，而不是真正的機器學習工程師專業(yè)解釋。所以他們把它做得看起來很酷，但是那些隨機飄進飄出的條形并沒有真正的意義。

我們來看另一位專業(yè)人士的解讀：

我的猜測是，這是對圖像處理神經(jīng)網(wǎng)絡(luò)內(nèi)部隱藏層的描述。可能是為了分類或生成，無法真正分辨。

發(fā)生的情況是，網(wǎng)絡(luò)中的每一層都經(jīng)過多個過濾器——這些過濾器可能是在動畫中圍繞對象外部移動的矩形。您可以將濾鏡視為對圖像中的像素值進行一些轉(zhuǎn)換。例如，將這9個像素值取平均值。這種變換在動畫中顯示為改變顏色和方向的點。

然后，在應(yīng)用過濾器和轉(zhuǎn)換后，結(jié)果將通過邏輯門，以查看它們是否激活。這被可視化為點突然出現(xiàn)和消失。神經(jīng)網(wǎng)絡(luò)中的每一層都會有許多不同的過濾器/轉(zhuǎn)換/激活并行進行。然后，所有這些結(jié)果都會傳遞到網(wǎng)絡(luò)的下一層。

——如此看來，小編也非常喜歡這個動畫，并且已經(jīng)逐漸理解了一切。

GPT-4V對視頻的解釋

我們把這個18秒的視頻截成了10張圖，喂給了GPT-4，讓它給我們解釋一下這個視頻的含義。

你提供的圖像似乎是大型語言模型（如GPT）的程式化表示。用簡單的語言來說，這些圖像可能試圖以更具體或更容易理解的方式可視化語言模型的復(fù)雜內(nèi)部運作。

在大型語言模型中，數(shù)據(jù)（例如書籍、文章、網(wǎng)站等中的文本）通過多層神經(jīng)網(wǎng)絡(luò)進行處理，神經(jīng)網(wǎng)絡(luò)是一種識別數(shù)據(jù)模式的數(shù)學模型。網(wǎng)絡(luò)的每一層都會處理從前一層接收到的信息，逐漸提取更抽象的特征和關(guān)系。

這些圖像似乎隱喻地代表了這個過程。立方體可以代表數(shù)據(jù)單元或token（如單詞或單詞的一部分），它們之間的不同顏色和連接可能象征著模型如何處理這些標記并將這些標記相互關(guān)聯(lián)以理解上下文和含義。清晰的管道和結(jié)構(gòu)可能說明了數(shù)據(jù)流經(jīng)模型的神經(jīng)網(wǎng)絡(luò)的架構(gòu)。

它就像一個復(fù)雜的工廠，原材料（數(shù)據(jù)）進來，經(jīng)過各個處理階段（神經(jīng)網(wǎng)絡(luò)層），然后產(chǎn)生最終產(chǎn)品（連貫的文本輸出）。這種可視化有助于傳達這樣的想法：語言模型以復(fù)雜的方式組織和轉(zhuǎn)換輸入數(shù)據(jù)，以生成模仿人類對語言的理解的響應(yīng)。

當我們要求他針對圖中不同顏色的立方體進行更加細節(jié)的補充說明時，GPT-4這樣說到：

圖像中不同顏色的立方體可能是語言模型處理的各個數(shù)據(jù)點或token的符號表征。在語言模型的上下文中，token通常指一段文本，例如單詞或單詞的一部分。以下是這些立方體的顏色和排列可能代表的內(nèi)容的細分：

不同的顏色：每種顏色可以代表數(shù)據(jù)的不同方面或模型正在處理的不同類型的信息。例如，藍色立方體可能代表常見單詞，而橙色立方體可能代表在給定上下文中具有更重要意義的關(guān)鍵字或短語。

立方體的排列：立方體的組織和連接方式可以可視化模型如何理解不同標記之間的關(guān)系。語言模型使用這些關(guān)系來理解上下文并生成連貫且適合上下文的響應(yīng)。

立方體層：如果立方體以層的形式顯示，則這可能代表神經(jīng)網(wǎng)絡(luò)的層。當數(shù)據(jù)通過每一層時，模型會完善其理解、調(diào)整連接并對不同標記的要性進行不同的加權(quán)。

透明結(jié)構(gòu)：連接立方體的透明管或結(jié)構(gòu)可能表明數(shù)據(jù)通過模型架構(gòu)的路徑。它們可以象征信息流以及信息如何在模型的不同部分之間共享。

值得注意的是，此類可視化是高度抽象的，旨在提供語言模型內(nèi)操作的概念視圖。實際過程涉及復(fù)雜的數(shù)學函數(shù)和高維數(shù)據(jù)，這些數(shù)據(jù)沒有物理形式，但通常出于教育和說明目的而可視化。

既然大家都提到了矩陣乘法，我們可以來對比一下Pytorch中關(guān)于矩陣乘法的實現(xiàn)。

上面是一個向量點積的示意圖，緊接著下面是矩陣乘法的實現(xiàn)。

不管像不像吧，反正移動數(shù)據(jù)點的精髓是把握住了。

Google AI可視化合集

事實上，這個讓廣大網(wǎng)友吃瓜的動畫來自于下面這個網(wǎng)站，而且?guī)в凶约旱氖姑?/span>

Google的工作人員發(fā)表了對于這個項目的解釋。

「代碼流、發(fā)光的藍色大腦、白色機器人和西裝革履的男人，如果你在網(wǎng)上搜索人工智能，你會發(fā)現(xiàn)這些誤導(dǎo)性的說法。

這些刻板印象會延續(xù)長期存在的偏見，從而對公眾對人工智能技術(shù)的看法產(chǎn)生負面影響。它們還經(jīng)常排除全局的視角，這種缺乏多樣性會進一步放大社會不平等。

通過我們的可視化AI計劃，我們委托來自世界各地的藝術(shù)家創(chuàng)作更多樣化、更易于理解的AI表現(xiàn)形式。這些圖像的靈感來自與我們的科學家、工程師和倫理學家的對話。

多樣化我們可視化新興技術(shù)的方式是擴大公眾對人工智能今天和未來愿景的第一步。」

以下這些，也是Google DeepMind在同一個網(wǎng)站上發(fā)布的作品。

比如下面這個，小編是一眼就看出了其中的「深意」——這也許是在教我們擴散模型的原理？

另一個作品，看起來則像是在講Transformer架構(gòu)——先把自然語言向量化，然后注入綠色的attention模塊，甚至還可以體會到大模型「涌現(xiàn)」的感覺。

對此，不知道大家怎么看？