新智元報(bào)道

(資料圖片)

編輯：Aeneas 拉燕

【新智元導(dǎo)讀】近日，一名外國(guó)小哥測(cè)出，GPT-4語言能力智商已達(dá)152，吊打絕大多數(shù)人類。好在，它的空間推理還不行。

GPT-4在語言能力上的智商，已經(jīng)吊打人類！

最近，國(guó)外的一位小哥測(cè)試了GPT-4的智商，結(jié)果顯示，它的語言智商已經(jīng)達(dá)到了152。

而根據(jù)調(diào)查，人類的平均智商是90-109，單論語言智商的話，人類是妥妥地被GPT-4吊打了……

GPT-4的能力，我們此前早已耳熟能詳。3月底，微軟的一篇154頁的論文，震驚全世界。

在這篇論文中，微軟表示，GPT-4已經(jīng)顯現(xiàn)出了通用人工智能的火花，它可以被認(rèn)為是通用人工智能的一個(gè)早期版本。

論文地址：https://arxiv.org/pdf/2303.12712.pdf

通過測(cè)試，微軟的研究者證實(shí)：GPT-4不僅精通語言，還能在數(shù)學(xué)、編程、視覺、醫(yī)學(xué)、法律、心理學(xué)等多樣化和高難度的任務(wù)中表現(xiàn)出色，且無需特別提示。

最可怕的是，在所有這些任務(wù)中，GPT-4的表現(xiàn)都接近了人類水平，并且時(shí)常超過之前的模型。

下面，我們就來看看GPT-4在各方面能力上，哪些能吊打人類，哪些暫時(shí)還無法趕超我們。

為GPT-4量身打造IQ測(cè)試

首先，這位小哥上網(wǎng)搜索了一下免費(fèi)的智商測(cè)試。

但他發(fā)現(xiàn)一個(gè)棘手的問題：這些智商測(cè)試，很多都是以圖像的形式。

然而GPT-4，目前可以被認(rèn)為還是一個(gè)「瞎子」+「聾子」，并沒有讀圖能力。

怎么辦呢？這位小哥隨后意識(shí)到，肯定有專門為視力缺陷的人設(shè)計(jì)的智商測(cè)試。

他動(dòng)手試了試，果然搜到了。然而，這種測(cè)試非常昂貴，需要花1500多刀，沒法白嫖。

自己動(dòng)手，豐衣足食。這位小哥干脆一不做二不休，自己上手，為GPT-4量身打造了一版智商測(cè)試。

難得倒陶哲軒，難不倒GPT-4

首先要測(cè)試的，是GPT-4的數(shù)學(xué)能力。

全世界最流行、最頂尖的數(shù)學(xué)測(cè)試是什么？自然就是國(guó)際奧數(shù)比賽。

世界上最偉大的數(shù)學(xué)家之一陶哲軒，就是在1986年參加的國(guó)際奧數(shù)比賽。

那一年，試題中的第6題，連他也解不出。

那GPT-4可以么？

小哥把這道題輸給了GPT-4，結(jié)果是——它解出來了。

但是，我們并不能說，它就勝過了世界上最厲害的成年人數(shù)學(xué)家。

另外，它也無法證明孿生素?cái)?shù)猜想。（要是能證明就有鬼了）

小哥讓GPT-4繪制一個(gè)方程式的坐標(biāo)，也遭到了GPT-4的拒絕。

非常禮貌地懇求它，結(jié)果還是被婉拒了。

所以，GPT-4的極限到底在哪里呢？

這位小哥只能去查閱公開的文獻(xiàn)。在OpenAI的官方論文中，GPT-4在SAT的數(shù)學(xué)考試中得分高于91%的人類，在其其他數(shù)學(xué)類考試中表現(xiàn)也很優(yōu)異。

不善溝通的語言天才

接下來，小哥想測(cè)試一下GPT-4在人際關(guān)系智能（Interpersonal Intelligence），以及內(nèi)省智能（Intrapersonal Intelligence）方面表現(xiàn)如何。

嚴(yán)謹(jǐn)?shù)男「缦壬暇W(wǎng)查了一下，何為人際關(guān)系智能——善于處理人際關(guān)系的人，他們能更好地理解他人，并和別人進(jìn)行互動(dòng)。這類人擅長(zhǎng)評(píng)估情緒、動(dòng)機(jī)、欲望，以及周圍人的意圖。

然后，他找了一篇SAT考試中的文章，將文章內(nèi)容復(fù)制下來，把所有的和人物動(dòng)機(jī)有關(guān)的問題也一股腦甩給了GPT-4。

GPT-4表現(xiàn)還算....出色？四個(gè)題對(duì)了三個(gè)。

然而，GPT-4卻沒有任何分析情緒的能力。

因?yàn)椋此约旱脑?，它只是一個(gè)AI模型，并沒有「自我」的概念。

那GPT-4的內(nèi)省智能如何呢？

小哥表示，一個(gè)內(nèi)省智能高的人，對(duì)自身優(yōu)缺點(diǎn)有清醒的認(rèn)知。

把這個(gè)當(dāng)作prompt輸入GPT-4，發(fā)現(xiàn)這模型對(duì)自己定位還是挺清晰的。

比方說，優(yōu)點(diǎn)里有廣泛的知識(shí)儲(chǔ)備、反應(yīng)迅速、多語能力、模式識(shí)別能力，以及可擴(kuò)展性強(qiáng)等等。

而缺點(diǎn)包括缺乏個(gè)人經(jīng)驗(yàn)、缺乏某些領(lǐng)域的知識(shí)、不太能理解上下文、文學(xué)解讀、道德評(píng)判等等。

但小哥表示，這種認(rèn)識(shí)程度還遠(yuǎn)遠(yuǎn)不夠?？偟膩碚f，GPT-4的人際關(guān)系智能和內(nèi)省智能，都一般。

小哥還給GPT-4測(cè)了一下口頭語言的IQ測(cè)試，它得了152分。

對(duì)人類來說，這個(gè)分?jǐn)?shù)意味著——你是個(gè)天才。

空間推理 小試牛刀

而轉(zhuǎn)到空間能力這一塊，GPT-4的表現(xiàn)就不容樂觀了。

本來，小哥想讓GPT-4直接做一套空間推理的選擇題。

但是，OpenAI未來才會(huì)慢慢開發(fā)GPT-4的識(shí)圖功能。

在OpenAI發(fā)布的視頻中，研究人員上傳了這么一張圖片，然后問GPT-4，如果把繩子剪短會(huì)怎么樣。

GPT-4表示，那氣球就會(huì)飛走了！

小哥和GPT-4下了把井字棋，通過文字輸入控制走棋。

但GPT-4在深諳規(guī)則的情況下，耍賴了。

本來該小哥贏，讓GPT-4幫自己在最下面一排的中間畫一個(gè)圈三連。

GPT-4可倒好，直接把最上面一排的圈擦了，畫了個(gè)自己的叉。作弊取勝。

ChatGPT：魔方？我不會(huì)啊

為了進(jìn)一步測(cè)試GPT-4的空間理解能力，小哥祭出了大殺器——魔方。

要知道，對(duì)人類來說，魔方也是衡量一個(gè)人空間感的方法之一。

首先，因?yàn)镚PT-4不能看圖，所以要先想辦法用文字描述魔方的狀態(tài)。

熟悉魔方的朋友對(duì)下面這個(gè)圖應(yīng)該不會(huì)陌生。在公式中，我們常常會(huì)用若干字母，或字母加一個(gè)撇號(hào)來代表不同的操作。

一般魔方正對(duì)我們，不同的旋轉(zhuǎn)對(duì)應(yīng)不同的表達(dá)。就像下面這樣。

小哥在視頻中做了一個(gè)示范，確保GPT-4領(lǐng)會(huì)了這個(gè)意思。

然后，就要開始把GPT-4拉出來遛遛了！看看它到底會(huì)不會(huì)還原。

萬事先從簡(jiǎn)單的開始。小哥第一步只是把魔方最上層向左擰了一下，看看GPT-4會(huì)不會(huì)還原。

這點(diǎn)難度還是難不倒GPT-4。小哥輸入U(xiǎn)這個(gè)操作（最上層向左擰），GPT-4也是很快給出了U’（U的反向操作）這個(gè)答案。

緊接著是UR，意思就是最上層左擰一次，最右邊上擰一次。

GPT-4也很快給出了反向操作——R’U’。

接著就要上難度了！小哥開始徹底打亂魔方，總共十多步。

令人驚訝的是，GPT-4居然真的生成出結(jié)果了！

然而小哥定睛一看，GPT-4生成的復(fù)原方法，就是把所有打亂的步驟反過來來一遍。

看完直呼無語，這要你何用。

于是小哥發(fā)現(xiàn)這樣做就是會(huì)出現(xiàn)這個(gè)問題。因?yàn)槟爿斎氪騺y的方式，GPT-4必然在復(fù)原的時(shí)候反向操作。

問題的關(guān)鍵，就是不能讓GPT-4知道這是怎么打亂的。

小哥很聰明，問了一下GPT-4，如果是你，你會(huì)怎么描述魔方的狀態(tài)？

GPT-4采取了下圖這樣的方式：用不同的字母代替不同的顏色，把每一個(gè)面的顏色情況全部用字母表達(dá)出來。

這樣就避免了打亂步驟這一個(gè)part。

這次經(jīng)過嘗試，只有第一次的小試牛刀成功了，也就是只打亂一次的結(jié)果。

GPT-4處理起簡(jiǎn)單問題真是毫不手軟，可惜一復(fù)雜就趴窩了。

最后還生成出了下圖這個(gè)結(jié)果——

小哥表示，這現(xiàn)實(shí)的魔方根本擰不成這樣啊，GPT-4你在干什么？？

這個(gè)結(jié)果直接給GPT-4玩兒魔方的能力宣判了死刑。

除了倒推復(fù)原，GPT-4根本玩不轉(zhuǎn)魔方。

兩任總統(tǒng)的RAP對(duì)決，泰褲辣

最后，這位小哥還測(cè)了一波GPT-4的音樂能力。

咱們都知道，GPT-4會(huì)寫詩。

既然如此，小哥就讓GPT-4以Minecraft服務(wù)器中的特朗普和拜登的說唱大戰(zhàn)為主題，寫出rap詞和旋律，還要make a beat。

小哥發(fā)現(xiàn)，最好的方式就是用ABC notation，因?yàn)镚PT-4寫不出五線譜。

所以，小哥讓GPT-4用ABC notation寫一個(gè)Boom bap beat，然后把這個(gè)beat輸入到一個(gè)音樂網(wǎng)站里。

GPT-4寫出的beat是這樣的——

聽起來沒啥驚喜。

標(biāo)簽：