作文寫到8000字發現中間寫錯了怎么辦?新版GPT-3: 別怕,我可以改
?本文轉自雷鋒網,如需轉載請至雷鋒網官網申請授權。
剛剛,OpenAI 在官博與推特上宣布:
GPT-3 又增加了兩項新功能:編輯與插入,可以修改現有內容、而不僅是預測文本。目前已開放 API。
立即收獲過千點贊。?
?下面立即有熱心網友評論:
怎么樣用這個點子創業?有人可以給我點建議嗎?
另一個網友回復:
你可以問GPT-3。(哈哈被戳中笑點)?
自2020年4月發布,GPT-3 就憑借 1750 億參數的規模在人工智能領域引起了巨大轟動,又憑借對各類問題的「在線熱心問答」成功出圈,「預言家」般的魔力收獲了一大批追隨者。如今,已過去近兩年,OpenAI 發布新功能,可見在 GPT 系列上,OpenAI 對「魔幻」語言模型的夢想仍在繼續發光發熱。
事實上,在這兩年內,OpenAI 一直在不斷更新 GPT-3。比如,去年11月,OpenAI 就稱 GPT-3 掌握了一定的邏輯推理能力,做小學數學題能得 55 分(差一點就及格!)。
那么,這次 OpenAI 給 GPT-3 賦上的新魔法又有什么神奇之處呢?一起來看看。
1「編輯」與「插入」
根據 OpenAI 的官博介紹,他們發布的 GPT-3 和 Codex 新版本可以在現有文本的基礎上編輯或插入新的內容。
這與舊版本不同:舊的 GPT-3 是一路寫下來,就像在單行道上駕駛;而新的 GPT-3 可以修改現有內容,例如重寫一段文本或代碼,是行駛在可以變道、掉頭的雙向多行道上。
啥意思呢?就是 GPT-3 有了一定的「改錯」能力。用中國的古話說,不至于過了這個村就等于過了這個店。實在錯過了,也可以繞路回來,找到心儀的目標點。
當然,「插入」并非新版 GPT-3 首創,此前 GitHub Copilot 也有這項功能,并取得了不錯的成績:
圖注:GitHub Copilot 在代碼尾部直接添加代碼
?舊的 GPT-3 與 Codex 的「插入」功能也是像 GitHub Copilot 一樣,是在已有文本的基礎上,在現有文本的結尾處添加內容。
而新的 GPT-3 與 Codex 是可以在文本中間編輯、修改或添加新的內容。這顯然更符合我們人類的思考與寫作方式:往往寫了一大堆話后,由于「對自身的要求過高」,或達不到預期時,就要推倒重來。
(上述情況常見于給領導寫工作報告、碼代碼修bug、七夕給心儀的女生寫情書等等正當的場景中……)
(如果你也有這樣的煩惱,GPT-3 就是你的好朋友)?
插入
?依賴于原有的技術積累,GPT-3 在判斷「如何在文本中插入新內容」上的功力已經達到了較高的水平。
如下圖示例:GPT-3 希望在大綱內的兩個節標題中填寫文本。如果沒有下文的內容參考,模型可能會生成與 Section 2 無關的文本;如果考慮到下文,模型就會生成一段能夠良好連接兩部分內容的文本。?
?在代碼編輯中,「插入」功能有很大的作用。OpenAI表示,他們最初研究「插入」功能的動機是 Codex,原因是:在軟件開發中,程序員通常需要參考前后的代碼,在現有文檔的中間插入新的代碼。
如下圖示例:GPT-3 能夠順利補全缺失的函數 prune,同時將已編寫的代碼聯系在一起。同樣,這個功能是需要參考上下文的。?
?插入功能可以在已發布的測試版 API 中試用。
編輯
需要注意的是,此處的「編輯」更多是「修改」現有文本,而不是像舊的 GPT-3 一樣,沿著已有文本完成后面的寫作。
We’ve also observed edits to work well on empty prompts, thus enabling text generation similar to the completions endpoint. In the example above, we use edits to (1) add a poem, (2) change the poem to be in first-person, (3) transform the poem into a letter, with the appropriate salutation and signature.
通過將現有文本指定為「提示」,并給出如何修改的指示,新的 GPT-3 可以更改現有文本的語氣與結構,或進行有針對性的更改,例如修改單詞的拼寫。
例如,在下面的示例中,使用新版 GPT-3 可以進行以下「編輯」:1)添加一首詩;2)將這首詩更改為第一人稱;3)將這首詩轉換為一封帶有適當稱呼和簽名的字母。?
?在代碼編寫中,「編輯」端點可以重構、添加文檔,翻譯編程語言以及更改編碼風格等等。
如下圖示例,模型可以從 JSON 輸入(包含按人口排名的城市)開始。在第一次編輯中,Codex 從 JSON 中刪除了排名字段,并將州縮寫更改為全名。第二次編輯則將 JSON 文件轉換為從函數返回的 YAML。?
2 新版 GPT-3 怎么玩?
2021年初,李宏毅曾稱 GPT-3 是「來自暗黑大陸的模型」。如今新版 GPT-3 在文本編輯上增加了更「類人」的功能,不知李老師會如何評價?
?此前 GPT-3 剛發布時,AI科技評論也發過 GPT-3 的50種玩法,包括寫作、提問、回復郵件等等。但當時,由于 GPT-3 的一些測試回答缺乏邏輯,且無法給出依據,所以曾被抨擊。
比如,有實驗者向 GPT-3 提問:「新冠疫情何時結束?」當時,GPT-3 的回答是:「2023年12月31日。」
因為這是一個未來的日子,所以我們只能等待,等到那一天,才能驗證 GPT-3 的回答是否正確。那么,若幸運,新冠疫情能夠在2023年12月31日之前就結束,擁有了「中途改錯」能力的 GPT-3,是否會修改這個答案呢?
無可否認,OpenAI 推出的新版 GPT-3 擁有了更接近人類表達與思考邏輯的能力,但距離如美劇《疑犯追蹤》里超級智慧大腦的魔力還有多久?或許,這還需要時間的驗證。