在GPT-4 32K還在內測階段，OpenAI的勁敵直接把上下文長度打了上去。

就在今天，初創公司Anthropic宣布，Claude已經能夠支持100K的上下文token長度，也就是大約75,000個單詞。

這是什么概念？

一般人用時大約5個小時讀完等量內容后，還得用更多的時間去消化、記憶、分析。

對于Claude，不到1分鐘就搞定。

把「了不起的蓋茨比」整本書扔給它，大約有72k token，并將其中的一句話進行改動：

Mr. Carraway是一個在Anthropic從事機器學習工具的軟件工程師。

你敢相信？Claude僅花了22秒，就把改動的這句話找出來了。

眾路網友紛紛表示，有了Claude 100K，手里的GPT-4 32K已經不香了。

Claude 100k，倍兒香！

前段時間，在OpenAI的開發者社區中，許多人討論GPT-4 32K正在推出。

而且，不少GPT-4的用戶已經可以在自己的PlayGround上看到GPT-4 32k的選項。

已經解鎖這一版本的網友，讓其訪問了數百個來自卸載HyperWrite用戶的數據點，GPT-4便準確地告訴他接下來該做怎樣的改進。

他稱贊道，GPT-4 32k是世界上最好的產品經理。

32k都這么厲害了，那么，有了100K豈不更強了。

顯然，OpenAI的強大對手Anthropic最先占據了優勢。

100K token的上下文長度，意味著，你可以在Claude上傳數百頁的文本分析。并且對話的持續時間也被大大拉長，延長到數小時，甚至數天。

當然，除了長文本閱讀之外，Claude還可以從文檔中快速檢索出你所需的信息。

你可以把多個文檔，甚至一本書的內容當作prompt，然后提問。

以后遇到論文，甚至巨長篇幅的直接讓Claude總結吧，這簡直就是啃論文后輩們的福音。

這種綜合性的問題通常需要對文本中很多部分的內容有一個全面的認識，而在處理這種問題上，Claude可以說要比基于向量搜索的辦法要強。

Claude還可以是你的「代碼伴侶」，分分鐘就能做個演示。

比如，上傳一個240頁的Langchain API文檔，讓它基于這個文檔，用Anthropic的語言模型做一個Langchain的簡單演示。

還可以把85頁的公司年度報表（10k）喂給Claude。

然后，要求突出對潛在投資者最重要的項目，并解釋其重要性。

此外，Claude 100k還能處理大約6小時的音頻量。

比如說，AssemblyAI把一個卡馬克的播客的內容轉錄成了58k個token量的文本，然后用Claude進行了總結和問答。

最后，Claude總結了一下自己能干的事，覆蓋可以說是非常全面了。

- 理解、總結和解釋密集的文件，如財務報表、研究論文等

- 根據年報分析公司的戰略風險和機遇

- 評估一項立法的利弊

- 識別法律文件中的風險、主題和不同形式的爭論

- 閱讀數百頁的開發文檔，回答技術問題

- 通過將整個代碼庫放入上下文中，并智能地構建或修改它來快速制作原型

當然，現在，Anthropic表示100K上下文還是一個測試版功能，在此期間將按照標準API定價來收費。

官網也給出了具體價格：

Claude Instant

Prompt：$0.00163 / 1K tokens

Completion：$0.00551 / 1K tokens

Claude-v1

Prompt：$0.01102 / 1K tokens

Completion：$0.03268 / 1K tokens

比起OpenAI，這價格已經非常親民了。

據OpenAI官網，GPT-4 32k的Prompt需要$0.06，Completion需要$0.12。

相當于，你得花5-6倍的價格給模型prompt。

網友稱，Claude 100k比GPT-4 32k更快速、更便宜。

網友實測

這么重磅級的更新，一定少不了網友的體驗。

有網友稱100k簡直難以置信，能夠處理多篇完整的論文，部分完整的代碼庫，甚至一本250頁的小說。

順便提一句，許多網友最先用Claude測試了一番，發現效果還不錯。

最初，100K僅限在API中，Claude應用的默認模型仍然是9K。但很快，Claude應用界面也支持100K了。

一位網友用100頁的「GPT-4技術報告」測試，結果只能用amazing來形容。

還有人直接把太宰治的「人間失格」喂給了Claude，并用英文問故事中情節，完全給出了準確的回答。

同時，這位網友把自己開發的Toolformer Zero完整源代碼丟給它，Claude精準描述出這是用來做什么。

并且，Claude還稱贊了代碼的模塊化，提供增加一些單元測試的建議。

把「貝奧武夫」詩扔進去，分析下貝奧武夫這個人物性格，也是非常準確。

英偉達科學家Jim Fan表示，這是Anthropic拋出的殺手锏。未來在上下文長度的軍備賽正快速升溫。

對于支持100k的意義，網友稱，泰褲辣！這很好地展示了為什么長文本對LLM很重要。

還有好多網友紛紛暗示GPT-4。

Claude-100K的誕生，讓AnthropicAI正式成為OpenAI的真正競爭者。

「許多人還在排隊等候32k的GPT-4。這次，Claude將上下文窗口擴展到10萬token，直接大幅躍升。

這也意味著包括OpenAI、谷歌在內的公司都要在這一領域競爭，這對用戶來說是一個巨大的勝利。」

還有網友感慨時代進步太快了。

谷歌宣布PaLM 2擅長高級推理任務不到一天，而Anthropic的Claude現在可以在不到一分鐘的時間內消化10萬個token。人工智能的進步確實令人矚目。

不過，如果你輸入的token少于9K，Antropic調用的似乎就是之前的模型了。

百萬token，不是夢

過去幾年，斯坦福大學Hazy Research實驗室一直在從事一項重要的工作，就是增加模型的序列長度。

在他們看來，這將開啟機器學習基礎模型的新時代。

研究人員在22年提出的FlashAttention算法證明了32k可行性。

就連Sam Altman稱我們要的是32k token。

其實，不僅是32k，現在100k都實現了，百萬token也不遠了。

「絕對太野了！幾年后，支持100萬的token上下文長度會不會成為可能？」

前段時間，來自DeepPavlov、AIRI、倫敦數學科學研究所的研究人員發布了一篇技術報告，使用循環記憶Transformer（RMT）將BERT的有效上下文長度提升到「前所未有的200萬tokens」，同時保持了很高的記憶檢索準確性。

論文地址：https://arxiv.org/abs/2304.11062

該方法可以存儲和處理局部和全局信息，并通過使用循環讓信息在輸入序列的各segment之間流動。

不過，雖然RMT可以不增加內存消耗，可以擴展到近乎無限的序列長度，但仍然存在RNN中的記憶衰減問題，并且需要更長的推理時間。

實際上，RMT背后是一個全新的記憶機制。

具體操作方法是，在不改變原始Transformer模型的前提下，通過在輸入或輸出序列中添加一個特殊的memory token，然后對模型進行訓練以控制記憶操作和序列表征處理。

與Transformer-XL相比，RMT需要的內存更少，并可以處理更長序列的任務。

當然，在最終實現百萬token之前，Claude 100k已經是相當大的起步了。