ChatGPT最強(qiáng)對(duì)手，實(shí)測(cè)卻輸給了文心一言！

作者：王瑞平 2023-07-13 15:10:06

據(jù)悉，Claude系列剛被推出時(shí)就被給予厚望，由于創(chuàng)始團(tuán)隊(duì)都在Open AI任職過，技術(shù)過硬，呈現(xiàn)出的效果相當(dāng)完美，意圖理解也非常優(yōu)秀。而且還推出了Claude Chat網(wǎng)頁(yè)版，完全免費(fèi)！

整理 | 王瑞平

審校 | 言征

侵犯版權(quán)、隱私、遭遇輪番起訴，ChatGPT訪問量直線下降，市場(chǎng)競(jìng)爭(zhēng)力暴跌！

就在此時(shí)，Open AI的最強(qiáng)競(jìng)爭(zhēng)對(duì)手Anthropic趁虛而入，推出Claude 2，殺它個(gè)措手不及。一批網(wǎng)友搶先體驗(yàn)過后，鋪天蓋地一片好評(píng)。

在性能方面，Claude 2正式支持10萬tokens的輸入，并且可以一次性輸出4000個(gè)tokens。

此外，由于使用了2023年的數(shù)據(jù)訓(xùn)練模型，Claude 2“了解時(shí)事”，輸出內(nèi)容更具時(shí)效性。這些性能的改進(jìn)都大大提升了Claude 2在用戶心目中的分量。

（來源：Anthropic）

Anthropic官網(wǎng)上描述說：“我們很高興發(fā)布Claude 2新模型，不僅改進(jìn)了性能，還延長(zhǎng)了響應(yīng)時(shí)間，可通過API及面向公眾的測(cè)試版網(wǎng)站Claude.ai進(jìn)行訪問。”

1、性能提升：文理通吃、為安全保駕護(hù)航

相較ChatGPT，Claude 2有如下優(yōu)勢(shì)：

首先是token：GPT-4的下限默認(rèn)為8k個(gè)token，上限32k個(gè)token，而Claude 2是100k個(gè)token，與GPT-4根本不是一個(gè)量級(jí)！

然后是費(fèi)用，GPT-4每月支付20美元，而Claude 2是完全免費(fèi)的！

由于Claude 2具有更長(zhǎng)的token，長(zhǎng)文本處理能力更強(qiáng)，在文科方面發(fā)揮出了優(yōu)勢(shì)。

圖片

在美國(guó)律師資格考試的多選題部分可以取得76.5%的正確率，前代Claude 1.3僅為70%。在GRE閱讀和寫作測(cè)試中，得分超過90%應(yīng)屆畢業(yè)生。而在美國(guó)醫(yī)師執(zhí)照考試中，Claude 2在3個(gè)科目中的分?jǐn)?shù)都超過了60%，獲得ALL PASS佳績(jī)。

不僅如此，Claude 2還文理通吃，在編程、數(shù)學(xué)和推理方面準(zhǔn)確率大大提升。

在迭代的過程中，Claude 2的安全性變得更強(qiáng)、受模型的約束，很難產(chǎn)生具有攻擊性或危險(xiǎn)的輸出。研發(fā)團(tuán)隊(duì)內(nèi)部特設(shè)評(píng)估團(tuán)隊(duì)，針對(duì)大量有害提示對(duì)模型評(píng)分和自動(dòng)化測(cè)試。團(tuán)隊(duì)也會(huì)定期親自上手檢查結(jié)果，確保萬無一失！

結(jié)果表明，在整個(gè)評(píng)估環(huán)節(jié)中，Claude 2在給出無害反饋方面比Claude 1.3強(qiáng)2倍。

鑒于安全、功能及性能有所提升，Anthropic宣布Claude 2在美國(guó)及英國(guó)開放全面公測(cè)，他們也計(jì)劃未來幾個(gè)月內(nèi)再擴(kuò)大測(cè)試對(duì)象。

2、生態(tài)強(qiáng)：多領(lǐng)域、跨學(xué)科合作

Anthropic的理念是多領(lǐng)域、跨學(xué)科合作，與數(shù)千家使用Claude API的企業(yè)建立了合作關(guān)系。

其中之一是AIGC獨(dú)角獸公司Jasper。Claude 2能夠在各種用例中與其它最先進(jìn)模型齊頭并進(jìn)，在長(zhǎng)時(shí)間、低延遲使用方面具有特別的優(yōu)勢(shì)，為客戶生成獨(dú)具創(chuàng)意的廣告文案內(nèi)容。

Jasper工程副總裁Greg Larson表示：“我們很高興能夠成為首批向客戶提供Claude 2的公司之一。它增強(qiáng)了語(yǔ)義、帶來最新知識(shí)培訓(xùn)、能夠?qū)?fù)雜提示進(jìn)行推理改進(jìn)。”

Sourcegraph是AI代碼平臺(tái)，可幫助客戶編寫、修復(fù)和維護(hù)代碼。編碼助手Cody使用Claude 2改進(jìn)的推理能力為客戶提供更準(zhǔn)確答案，同時(shí)，還通過token高達(dá)100K的上下文窗口傳遞更多代碼庫(kù)。此外，Claude 2的訓(xùn)練數(shù)據(jù)更新，可獲取新框架和庫(kù)的知識(shí)。

Juni Learning是在線教育解決方案的領(lǐng)先提供商，使用Anthropic為其Discord Juni Tutor Bot提供支持，幫助學(xué)生完成學(xué)業(yè)。

圖片

首席執(zhí)行官Vivian Shen表示：“對(duì)我們來說，Claude 提供的對(duì)話體驗(yàn)就像真正的導(dǎo)師或老師水平，而不是表面答案。”

法律領(lǐng)域最困難的問題之一是閱讀和理解復(fù)雜的法律文本。因此，法律基礎(chǔ)設(shè)施企業(yè)Robin AI也正在利用Claude 2擬定合同。

3、Open AI內(nèi)憂外患，挑戰(zhàn)者的好時(shí)機(jī)

近日，據(jù)外媒報(bào)道稱，OpenAI的核心員工正在流失到谷歌。其中一些員工已經(jīng)辭職并與谷歌簽訂了合同，另外一部分人也將在近期離開OpenAI。

雖然此次核心員工離職潮看起來是OpenAI爆炸式增長(zhǎng)引發(fā)的一系列管理問題，但深究其本質(zhì)原因，或許是員工對(duì)CEO管理的不滿以及對(duì)ChatGPT技術(shù)舉步不前的失望造成的。

憑借著微軟100億美元的資金，OpenAI似乎滿足于追逐他們最大的搖錢樹 ChatGPT，但對(duì)于ChatGPT進(jìn)一步開發(fā)計(jì)劃卻遲遲沒有下文。如此看來，3月份亮相的Claude正朝初心方向發(fā)展，而ChatGPT卻中途停滯。

不僅是內(nèi)憂、外患也一并襲來。馬斯克虎視眈眈，又有大動(dòng)作！其旗下又一家公司問世！當(dāng)?shù)貢r(shí)間7月12日，馬斯克在推特上宣布：人工智能公司——xAI正式成立。

圖片

xAI的官網(wǎng)已上線。據(jù)介紹，該公司由馬斯克本人親自帶隊(duì)，而其他成員則來自DeepMind、OpenAI、谷歌研究院、微軟研究院、特斯拉、多倫多大學(xué)等，曾參與過DeepMind的AlphaCode和OpenAI的GPT-3.5和GPT-4聊天機(jī)器人等項(xiàng)目。

從成員組成看，如此高端，馬斯克或?qū)AI定位為與OpenAI、Google和Anthropic等公司同臺(tái)競(jìng)技，他們多是知名聊天機(jī)器人的推手。

xAI公司號(hào)稱宗旨是“了解宇宙的真實(shí)本質(zhì)”。7月14日，該公司團(tuán)隊(duì)將在推特空間舉行發(fā)布會(huì)，進(jìn)一步解答網(wǎng)友的問題。

4、版本評(píng)測(cè)

官網(wǎng)消息顯示，今年3月，Claude被正式推出，當(dāng)時(shí)發(fā)布了兩個(gè)版本，即，Claude1.3和Claude Instant1.1，各司其職、特性各異。

在基本的評(píng)測(cè)中，研究者也比較了三個(gè)版本。數(shù)據(jù)證明，新版本功能提升極大，主要表現(xiàn)在如下方面：

圖片

如上表所示，在Python函數(shù)合成（Codex P）、GSM8k（小學(xué)數(shù)學(xué)問題）、MMLU（多學(xué)科問答）、QuALITY（長(zhǎng)故事問答測(cè)試）、ARC-Challenge（科學(xué)問題）、TriviaQA（閱讀理解）和RACE-H（高中閱讀理解和推理）上，Claude 2的大部分得分都更高了。