GPT-4 開始內測 32000 輸入長度的版本了！你收到邀請了嗎?
夕小瑤科技說 原創
作者 | 小戲、ZenMoore
要說現在 GPT-4 最大的問題是什么？可能除了一時拿他沒有辦法的機器幻覺，就是卡死的輸入長度了吧。盡管在一般的對話、搜索的場景里目前普通版本 GPT-4 的 8000 左右的上下文長度或許綽綽有余，但是在諸如內容生成、智能閱讀等方面當下基礎版的 GPT-4 還是有些捉襟見肘。
然而在 GPT-4 的發布會里也談到，事實上 GPT-4 是支持 32768 個 token 長度的，只是暫時還沒有被完全釋放，而是會陸續自動更新。而這兩天，32k GPT-4 的曙光似乎馬上就要來了！不少 GPT-4 的用戶已經可以在自己的 PlayGround 上看到 GPT-4 32k 的選項。
在 API 里，也可以通過指定 GPT-4-32K 的 Model 來對升級版進行調用
但是，這應該仍然是 GPT-4 對部分用戶的內測，并且應該不是按申請 waitlist 的時間來發布內測名額，收到 32k 版本內測的用戶是在 3 月 16 日加入的 waitlist，但也有同樣時間加入的用戶沒有解鎖 32k 的版本。一個可能的原因是收到內測版本的用戶曾經在注冊時強調了對 32k GPT-4 極大的興趣。
當然，不管怎樣，32k 的 GPT-4 看起來確實是離我們越來越近了，那么 32k 的 GPT-4 會帶來什么樣的想象力的改變呢？畢竟它的價格比 8k 版本的 GPT-4 貴了兩倍，并且有可能會有更慢的響應時間……
一個例子是對話機器人，當上下文長度擴展到 50 頁以后，那么就可以極大的避免比如因為滑出了 8k 窗口而帶來的復雜的嵌入問題。又如對如論文、研報等大量復雜信息的提取與解讀，目前必須通過結構化的方法對資料進行拆分再逐步進行提取，而 32k 的上下文長度則可以一舉省去這些麻煩。再比如推特博主 Matt Shumer 做的一個小測試，通過提供給 GPT-4 32k 一份代碼樣例，幾秒鐘內它就完成了一套完整的測試案例，這對工程而言也非常具有顛覆性。
在 OpenAI 之外，也有開源模型開放了甚至更大上下文長度的大規模語言模型。這個名為 MPT-7B （也稱做 Llongboi） 在這個月 5 號發布，這個花費了 20 萬美元訓練的 Llongboi 最大的亮點在于支持 64k 的上下文，可以服務于內容生成、聊天等多種場景。
博客地址：https://www.mosaicml.com/blog/mpt-7b
項目鏈接：https://github.com/mosaicml/llm-foundry
當然，開源項目的性能及穩定性肯定無法比肩 GPT-4，既然已經陸陸續續開始有人收到了 32k 的 GPT-4 的邀請，相信它必然很快就會和我們見面，那就讓我們“Hopefully it picks up the pace”吧！
