GPT-4在語(yǔ)言能力上的智商，已經(jīng)吊打人類(lèi)！

最近，國(guó)外的一位小哥測(cè)試了GPT-4的智商，結(jié)果顯示，它的語(yǔ)言智商已經(jīng)達(dá)到了152。

而根據(jù)調(diào)查，人類(lèi)的平均智商是90-109，單論語(yǔ)言智商的話，人類(lèi)是妥妥地被GPT-4吊打了……

GPT-4的能力，我們此前早已耳熟能詳。3月底，微軟的一篇154頁(yè)的論文，震驚全世界。

在這篇論文中，微軟表示，GPT-4已經(jīng)顯現(xiàn)出了通用人工智能的火花，它可以被認(rèn)為是通用人工智能的一個(gè)早期版本。

論文地址：https://arxiv.org/pdf/2303.12712.pdf

通過(guò)測(cè)試，微軟的研究者證實(shí)：GPT-4不僅精通語(yǔ)言，還能在數(shù)學(xué)、編程、視覺(jué)、醫(yī)學(xué)、法律、心理學(xué)等多樣化和高難度的任務(wù)中表現(xiàn)出色，且無(wú)需特別提示。

最可怕的是，在所有這些任務(wù)中，GPT-4的表現(xiàn)都接近了人類(lèi)水平，并且時(shí)常超過(guò)之前的模型。

下面，我們就來(lái)看看GPT-4在各方面能力上，哪些能吊打人類(lèi)，哪些暫時(shí)還無(wú)法趕超我們。

為GPT-4量身打造IQ測(cè)試

首先，這位小哥上網(wǎng)搜索了一下免費(fèi)的智商測(cè)試。

但他發(fā)現(xiàn)一個(gè)棘手的問(wèn)題：這些智商測(cè)試，很多都是以圖像的形式。

然而GPT-4，目前可以被認(rèn)為還是一個(gè)「瞎子」+「聾子」，并沒(méi)有讀圖能力。

怎么辦呢？這位小哥隨后意識(shí)到，肯定有專(zhuān)門(mén)為視力缺陷的人設(shè)計(jì)的智商測(cè)試。

他動(dòng)手試了試，果然搜到了。然而，這種測(cè)試非常昂貴，需要花1500多刀，沒(méi)法白嫖。

自己動(dòng)手，豐衣足食。這位小哥干脆一不做二不休，自己上手，為GPT-4量身打造了一版智商測(cè)試。

難得倒陶哲軒，難不倒GPT-4

首先要測(cè)試的，是GPT-4的數(shù)學(xué)能力。

全世界最流行、最頂尖的數(shù)學(xué)測(cè)試是什么？自然就是國(guó)際奧數(shù)比賽。

世界上最偉大的數(shù)學(xué)家之一陶哲軒，就是在1986年參加的國(guó)際奧數(shù)比賽。

那一年，試題中的第6題，連他也解不出。

那GPT-4可以么？

小哥把這道題輸給了GPT-4，結(jié)果是——它解出來(lái)了。

但是，我們并不能說(shuō)，它就勝過(guò)了世界上最厲害的成年人數(shù)學(xué)家。

另外，它也無(wú)法證明孿生素?cái)?shù)猜想。（要是能證明就有鬼了??）

小哥讓GPT-4繪制一個(gè)方程式的坐標(biāo)，也遭到了GPT-4的拒絕。

非常禮貌地懇求它，結(jié)果還是被婉拒了。

所以，GPT-4的極限到底在哪里呢？

這位小哥只能去查閱公開(kāi)的文獻(xiàn)。在OpenAI的官方論文中，GPT-4在SAT的數(shù)學(xué)考試中得分高于91%的人類(lèi)，在其其他數(shù)學(xué)類(lèi)考試中表現(xiàn)也很優(yōu)異。

不善溝通的語(yǔ)言天才

接下來(lái)，小哥想測(cè)試一下GPT-4在人際關(guān)系智能（Interpersonal Intelligence），以及內(nèi)省智能（Intrapersonal Intelligence）方面表現(xiàn)如何。

嚴(yán)謹(jǐn)?shù)男「缦壬暇W(wǎng)查了一下，何為人際關(guān)系智能——善于處理人際關(guān)系的人，他們能更好地理解他人，并和別人進(jìn)行互動(dòng)。這類(lèi)人擅長(zhǎng)評(píng)估情緒、動(dòng)機(jī)、欲望，以及周?chē)说囊鈭D。

然后，他找了一篇SAT考試中的文章，將文章內(nèi)容復(fù)制下來(lái)，把所有的和人物動(dòng)機(jī)有關(guān)的問(wèn)題也一股腦甩給了GPT-4。

GPT-4表現(xiàn)還算....出色？四個(gè)題對(duì)了三個(gè)。

然而，GPT-4卻沒(méi)有任何分析情緒的能力。

因?yàn)椋此约旱脑挘皇且粋€(gè)AI模型，并沒(méi)有「自我」的概念。

那GPT-4的內(nèi)省智能如何呢？

小哥表示，一個(gè)內(nèi)省智能高的人，對(duì)自身優(yōu)缺點(diǎn)有清醒的認(rèn)知。

把這個(gè)當(dāng)作prompt輸入GPT-4，發(fā)現(xiàn)這模型對(duì)自己定位還是挺清晰的。

比方說(shuō)，優(yōu)點(diǎn)里有廣泛的知識(shí)儲(chǔ)備、反應(yīng)迅速、多語(yǔ)能力、模式識(shí)別能力，以及可擴(kuò)展性強(qiáng)等等。

而缺點(diǎn)包括缺乏個(gè)人經(jīng)驗(yàn)、缺乏某些領(lǐng)域的知識(shí)、不太能理解上下文、文學(xué)解讀、道德評(píng)判等等。

但小哥表示，這種認(rèn)識(shí)程度還遠(yuǎn)遠(yuǎn)不夠。總的來(lái)說(shuō)，GPT-4的人際關(guān)系智能和內(nèi)省智能，都一般。

小哥還給GPT-4測(cè)了一下口頭語(yǔ)言的IQ測(cè)試，它得了152分。

對(duì)人類(lèi)來(lái)說(shuō)，這個(gè)分?jǐn)?shù)意味著——你是個(gè)天才。

空間推理 小試牛刀

而轉(zhuǎn)到空間能力這一塊，GPT-4的表現(xiàn)就不容樂(lè)觀了。

本來(lái)，小哥想讓GPT-4直接做一套空間推理的選擇題。

但是，OpenAI未來(lái)才會(huì)慢慢開(kāi)發(fā)GPT-4的識(shí)圖功能。

在OpenAI發(fā)布的視頻中，研究人員上傳了這么一張圖片，然后問(wèn)GPT-4，如果把繩子剪短會(huì)怎么樣。

GPT-4表示，那氣球就會(huì)飛走了！

小哥和GPT-4下了把井字棋，通過(guò)文字輸入控制走棋。

但GPT-4在深諳規(guī)則的情況下，耍賴了。

本來(lái)該小哥贏，讓GPT-4幫自己在最下面一排的中間畫(huà)一個(gè)圈三連。

GPT-4可倒好，直接把最上面一排的圈擦了，畫(huà)了個(gè)自己的叉。作弊取勝。

ChatGPT：魔方？我不會(huì)啊

為了進(jìn)一步測(cè)試GPT-4的空間理解能力，小哥祭出了大殺器——魔方。

要知道，對(duì)人類(lèi)來(lái)說(shuō)，魔方也是衡量一個(gè)人空間感的方法之一。

首先，因?yàn)镚PT-4不能看圖，所以要先想辦法用文字描述魔方的狀態(tài)。

熟悉魔方的朋友對(duì)下面這個(gè)圖應(yīng)該不會(huì)陌生。在公式中，我們常常會(huì)用若干字母，或字母加一個(gè)撇號(hào)來(lái)代表不同的操作。

一般魔方正對(duì)我們，不同的旋轉(zhuǎn)對(duì)應(yīng)不同的表達(dá)。就像下面這樣。

小哥在視頻中做了一個(gè)示范，確保GPT-4領(lǐng)會(huì)了這個(gè)意思。

然后，就要開(kāi)始把GPT-4拉出來(lái)遛遛了！看看它到底會(huì)不會(huì)還原。

萬(wàn)事先從簡(jiǎn)單的開(kāi)始。小哥第一步只是把魔方最上層向左擰了一下，看看GPT-4會(huì)不會(huì)還原。

這點(diǎn)難度還是難不倒GPT-4。小哥輸入U(xiǎn)這個(gè)操作（最上層向左擰），GPT-4也是很快給出了U’（U的反向操作）這個(gè)答案。

緊接著是UR，意思就是最上層左擰一次，最右邊上擰一次。

GPT-4也很快給出了反向操作——R’U’。

接著就要上難度了！小哥開(kāi)始徹底打亂魔方，總共十多步。

令人驚訝的是，GPT-4居然真的生成出結(jié)果了！

然而小哥定睛一看，GPT-4生成的復(fù)原方法，就是把所有打亂的步驟反過(guò)來(lái)來(lái)一遍。

看完直呼無(wú)語(yǔ)，這要你何用。

于是小哥發(fā)現(xiàn)這樣做就是會(huì)出現(xiàn)這個(gè)問(wèn)題。因?yàn)槟爿斎氪騺y的方式，GPT-4必然在復(fù)原的時(shí)候反向操作。

問(wèn)題的關(guān)鍵，就是不能讓GPT-4知道這是怎么打亂的。

小哥很聰明，問(wèn)了一下GPT-4，如果是你，你會(huì)怎么描述魔方的狀態(tài)？

GPT-4采取了下圖這樣的方式：用不同的字母代替不同的顏色，把每一個(gè)面的顏色情況全部用字母表達(dá)出來(lái)。

這樣就避免了打亂步驟這一個(gè)part。

這次經(jīng)過(guò)嘗試，只有第一次的小試牛刀成功了，也就是只打亂一次的結(jié)果。

GPT-4處理起簡(jiǎn)單問(wèn)題真是毫不手軟，可惜一復(fù)雜就趴窩了。

最后還生成出了下圖這個(gè)結(jié)果——

小哥表示，這現(xiàn)實(shí)的魔方根本擰不成這樣啊，GPT-4你在干什么？？

這個(gè)結(jié)果直接給GPT-4玩兒魔方的能力宣判了死刑。

除了倒推復(fù)原，GPT-4根本玩不轉(zhuǎn)魔方。

兩任總統(tǒng)的RAP對(duì)決，泰褲辣

最后，這位小哥還測(cè)了一波GPT-4的音樂(lè)能力。

咱們都知道，GPT-4會(huì)寫(xiě)詩(shī)。

既然如此，小哥就讓GPT-4以Minecraft服務(wù)器中的特朗普和拜登的說(shuō)唱大戰(zhàn)為主題，寫(xiě)出rap詞和旋律，還要make a beat。

小哥發(fā)現(xiàn)，最好的方式就是用ABC notation，因?yàn)镚PT-4寫(xiě)不出五線譜。

所以，小哥讓GPT-4用ABC notation寫(xiě)一個(gè)Boom bap beat，然后把這個(gè)beat輸入到一個(gè)音樂(lè)網(wǎng)站里。

GPT-4寫(xiě)出的beat是這樣的——

聽(tīng)起來(lái)沒(méi)啥驚喜。

小哥希望挽救一下這個(gè)beat，于是換了一種樂(lè)器。把它下載成midi file，再上傳到FL Studio。但不好的是，所有樂(lè)器都結(jié)合在一個(gè)音軌中了。

所以小哥讓GPT-4給每個(gè)音軌一個(gè)單獨(dú)的樂(lè)器文件。

成品一放，還挺驚艷：「yo！我是拜登，我來(lái)打破紀(jì)錄，直截了當(dāng)……」

接著，小哥下載了一個(gè)現(xiàn)成的beat，做成了拜登和川普的說(shuō)唱battle——各位，請(qǐng)準(zhǔn)備好尖叫吧。

總的來(lái)說(shuō)，GPT-4已經(jīng)在多方面吊打人類(lèi)，如果在未來(lái)哪一天，它能克服視力和聽(tīng)力上的缺陷，人類(lèi)的未來(lái)，可就真不好說(shuō)了。

參考資料：https://www.youtube.com/watch?v=HXb9Azzhr1k