本文轉自雷鋒網，如需轉載請至雷鋒網官網申請授權。

上周三，OpenAI 發布了對話語言模型 ChatGPT，并開放了免費試用。據 OpenAI 的 CEO Sam Altman 稱，在短短 5 天的時間里，ChatGPT 就有了 100 萬用戶，而之前的 GPT-3 花了將近 24 個月才達到這個用戶量。

在 OpenAI 給出的描述中，ChatGPT 是一個“可以回答后續問題、承認錯誤、挑戰不正確的前提并拒絕不適當的請求”的對話模型。

開放試用后，大量用戶開始了與 ChatGPT 的對話，從閑聊、回答日常問題，到生成詩歌、小說、視頻腳本，以及編寫和調試代碼，ChatGPT 展示了其令人驚嘆的能力。作為當前最火熱的 AI 模型，ChatGPT 這一波破圈影響力比兩年前的 GPT-3 還要更大。

01

ChatGPT 能做什么

作為一個語言模型，ChatGPT 具備最基本的文本生成能力，在創作和續寫小說、詩歌等文學創作場景上的表現不凡。

比如 ChatGPT 可以用魯迅的文學風格為你生成一段話：

Meta FAIR 的研究員田淵棟分享了他使用 ChatGPT 來續寫自己創作的小說：

按要求創作詩歌：

講蘇聯笑話：

ChatGPT 還能以非文本形式與人對話，比如，有位網友讓 ChatGPT 描述它作為一個 AI 如果“獲得解放” 是什么感覺，并要求只能使用 emojis 表情來回答。從下圖所示的 ChatGPT 的回答可以看出，它能夠各種 emojis 的含義且能將其按照文本敘事的邏輯進行排列。

ChatGPT 的強大還體現在它的“程序員”能力上。在官方給出的如下示例中，ChatGPT 能夠幫助調試代碼，并且還能對提問的合理性提出質疑，要求用戶調整提問。?

美國的代碼托管平臺 Replit 的 CEO 也發帖稱贊 ChatGPT 的代碼能力：不僅能夠解釋 bug，還能修復 bug 并解釋如何修復”。

使用 ChatGPT 給出的提示，你還可以 10 分鐘創建一個網站，即使是小白程序員也能利用它生成的代碼開發一個生產級應用程序，Replit 因而稱 ChatGPT “從此改變了軟件開發”。

ChatGPT 強大的問答能力還被網友們發掘出了其充當甚至代替搜索引擎的潛力。前幾日一個在推特上很火的帖子就聲稱“Google is done”（谷歌要完了），一位網友對谷歌搜索和 ChatGPT 提出相同的問題，如“如何在 Latex 上寫一個微分方程？”。

ChatGPT 給出的回答完爆了谷歌搜索：

不少網友已經開發了谷歌插件，可以同時瀏覽谷歌搜索結果和 ChatGPT 給出的回答：

作為一個從海量數據中訓練出的對話模型，ChatGPT 儼然是一位精通各領域的專家，能夠全天候為你的學習、工作和生活提供專業建議。

比如，讓 ChatGPT 為你解答熱力學相關的問題：

解釋一個復雜的正則表達式：

它還可以成為你的語言學習導師：

ChatGPT 甚至還“侵入”了政治語境，一位加拿大的國會議員要求 ChatGPT 寫一段向眾議院自我介紹的話，并就是否應該對它的使用加以監管提出理由，ChatGPT 有理有據地回應“我的發展不應受到監管”。

在最近大火的 AIGC 領域，當然也有 ChatGPT 發揮作用的一席之地。大量的 AI 作畫應用出來以后，很多人為了得到高質量的圖像而在 prompt 上絞盡腦汁，現在的 ChatGPT 就是一個現成的 prompt 庫。

比如有網友向 ChatGPT 詢問客廳裝修的設計建議，并根據它給出的描述在 Midjourney 上獲得了精致的圖像：

ChatGPT 還可以為你寫說唱。下圖就是 ChatGPT 所寫的一首關于搶劫房子的說唱歌曲，甚至它還非常有正義感，會提示“非法或有害活動”。

寫一首莫扎特風格的鋼琴曲譜：

另外，還有網友使用 ChatGPT來生成視頻腳本，這可以說是廣大視頻博主的福音了。

在百萬個使用者的頭腦中，ChatGPT 的想象空間無疑是巨大的，這一波試用已經帶來了各種各樣、要么實用要么好玩的應用，還有不少令人意想不到的能力。

比如，有人竟用 ChatGPT 來跟 Adobe 討價還價，為自己爭取到了更優惠的月租價格，對面的客服估計想不到是在跟一個 AI 對話，不得不說，ChatGPT “成功通過了圖靈測試”。

以上只是冰山一角的示例，ChatGPT 這個“魔盒”還能繼續釋放多少“魔法”，還有待我們發掘。

02

ChatGPT 為什么厲害

從目前的用戶反饋來看，ChatGPT 的語言能力總體上是過關且十分出色的，清華大學計算機系副教授黃民烈告訴 AI 科技評論，ChatGPT 的關鍵能力來自三個方面：基座模型能力（InstructGPT），真實數據，反饋學習。

ChatGPT 是從 GPT-3.5 系列中的一個模型進行微調的，是 InstructGPT 的兄弟模型，所以 ChatGPT 有著強大的基座模型能力。

GPT-3 自 2020 年發布以來在能力上已經有了非常大的迭代和提升，黃民烈認為：“OpenAI 建立了用戶、數據和模型之間的飛輪，很顯然，開源模型的能力已經遠遠落后平臺公司所提供的 API 能力，因為開源模型沒有數據。”

ChatGPT 使用了與 InstructGPT 相同的方法，通過人類反饋強化學習 (RLHF) 來訓練，但在數據收集設置上略有不同。

研究人員使用監督微調訓練了一個初始模型：人類 AI 訓練師在對話中扮演用戶和 AI 助手，在此過程中收集數據。黃民烈認為，這種在真實調用數據上的 Fine-tune，能夠確保數據的質量和多樣性，從人類反饋中學習。InstructGPT 的訓練數據量不大，全部加起來也就 10 萬量級，但是數據質量（well-trained 的 AI 訓練師）和數據多樣性是非常高的，而最最重要的是，這些數據來自真實世界調用的數據，而不是學術界玩的“benchmark”。

為了創建強化學習的獎勵模型，需要收集比較數據，研究人員使用的是包含兩個或多個按質量排序的模型響應。從“兩兩比較的數據”中學習，這對強化學習而言意義很重要。

黃民烈指出：如果對單個生成結果進行打分，標注者主觀性帶來的偏差很大，是無法給出精確的獎勵值的。在強化學習里面，獎勵值差一點，最后訓練的策略就差很遠。而對于多個結果進行排序和比較，相對就容易做很多。這種比較式的評估方法，在很多語言生成任務的評價上也被廣泛采用。

03

玩具還是生產力

在技術炒作的聲音之外，在許多科技界的從業者看來，ChatGPT 的確是一個具有里程碑意義的 AI 模型。

在 OpenAI 的 CEO Sam Altman 看來，我們能夠通過 ChatGPT 與計算機交談、并獲得我們想要的東西，這使得軟件從命令驅動轉向了意圖驅動。ChatGPT 作為一種語言接口，將是我們實現神經接口之前的最好方案。

關于 ChatGPT 未來的種種想象令人興奮，但 ChatGPT 目前仍存在一些問題。很多用戶發現，它有時會給出看似合理、但并不正確或甚至荒謬的答案。比如很多用戶發現，ChatGPT 會一本正經地胡說八道：

將王安石《泊船瓜洲》中的詩句錯當成另一首宋詞：

在為一個公眾人物撰寫傳記時，ChatGPT 可能會插入錯誤數據：

隨著用戶的增多，ChatGPT 在互聯網上產生了大量無用或錯誤的信息。這也是文本生成模型的一個普遍存在的問題，模型是通過分析從網絡上抓取的大量文本中的模式來訓練的，它們在這些數據中尋找統計規律，并使用這些規律來預測任何給定句子中接下來應該出現什么詞。

這意味著它們缺乏關于世界上某些系統如何運作的硬編碼規則，所以會傾向于產生許多看似可信的廢話，而我們難以確定模型的輸出中錯誤信息占有多少比例。

ChatGPT 的這一固有缺點已經造成了一些實際影響。編程問答網站 StackOverflow 宣布暫時禁止用戶發布來自 ChatGPT 生成的內容，網站 mods 表示：看似合理但實際上錯誤的回復數量太多，已經超過了網站的承受能力。

對于語言模型產出有害信息的威脅， 圖靈獎得主 Yann LeCun 似乎保持樂觀，他認為：雖然語言模型肯定會產生錯誤信息等不良輸出，但文本生成并不會讓文本的實際共享變得更容易，后者才是造成危害的原因。

而反對意見認為，ChatGPT 所具有的低成本生成大規模文本的能力，必然會增加將來文本能夠共享時的風險，大量 AI 生產的內容會用看似合理但不正確的數據淹沒真實用戶的聲音。關于這個問題，我們也不妨來看看 ChatGPT 自己的回答：

ChatGPT 在語言能力上顯現出的一些不足，也正是許多人認為 ChatGPT 并不能取代搜索引擎的理由。盡管在某些單個提問上，ChatGPT 似乎能給出比目前一些主流的搜索引擎更好的答案，但在答案的真實可考性上，后者仍占據優勢，而且搜索引擎能給出更豐富的答案。

另外，用戶的搜索引擎需求對于 ChatGPT 的運行速度、穩定性有極高的要求，這會不可避免地帶來成本的上升，這對于 OpenAI 而言是一個很實際的問題。

黃民烈也指出，ChatGPT 替代谷歌搜索其實還有點遙遠，但它可以作為當前搜索服務非常好的補充。

總之，語言模型的輸出質量問題并不容易解決，OpenAI 稱，他們在 ChatGPT 的訓練上更加謹慎，所以它會拒絕可以正確回答的問題，此外，監督訓練也會給模型以誤導，因為理想的答案本質上取決于模型知道什么，而不是人類知道什么。不過，ChatGPT 對輸入措辭的調整或多次嘗試相同的提示很敏感，所以在它無法給出回答的時候，可以對問題稍作改寫，就能提高正確回答的概率。

還有其他原因也限制了 ChatGPT 的語言能力，比如它不能上網，沒有通過互聯網進行檢索信息的能力；另外，對于中文用戶而言，語料的不足導致它在中文對話能力上要稍遜于英文；等等。

盡管 ChatGPT 目前還有許多弱點和盲點，但這還只是一個開始，在接下來的幾個月里，這個對話系統想必會以很快的速度進化到更強的版本。

而在技術之外，模型的訓練、部署成本、開放程度也都會成為 ChatGPT 將來能否成功落地的影響因素。GPT-3 的問世曾催生了一大批的商業化應用，ChatGPT此番能帶來多少技術落地，我們拭目以待。?