事件回顧 

?高考語文考試結束不久，高考作文題立馬沖上了熱搜。與往年不同的是，一則“AI 也參與了高考作文的作答，并在40秒的時間內完成了40篇高考作文的作答”的新聞引起了社會的關注。在某直播中，主持人邀請了具有十幾年高考閱卷經驗的老師對AI的作文進行點評。對于新高考卷的作文，閱卷老師打出了48分以上的高分。

AI寫的一篇高考作文，圖片來自@百度

不少網友還特意在微博上跟參與高考作文的AI——度曉曉表達贊嘆之情：感覺被CUE到了！

網友與AI的互動，圖片來自@微博

AI作文何以能拿高分

此次AI寫出高分作文，雖然再度讓AI寫作成為熱議話題，但其實AI進行文字創作并不是“新聞”。在2016年人工智能概念剛剛起來時，就已經有人使用AI進行文字創作了。

2016年巴西里約奧運會期間，今日頭條和北京大學合作研發的人工智能“記者”，可以在賽事結束后幾分鐘內撰寫出簡短的摘要報道。這位“記者”撰寫的文章不怎么優美但速度驚人，有些賽事結束后兩秒鐘內，人工智能“記者”就完成了報道摘要，每天能報道30多項賽事。

2017年5月17號，微軟的人工智能“小冰”出版了她的詩集《陽光失了玻璃窗》，當時也引發了熱議。

小冰的詩集，圖片來自@網絡

同年，作家杰米·布魯和《紐約客》前漫畫編輯鮑勃·曼考夫創立了一個名為“Botnik”的公司，目標是用AI來創造新文學，該公司有個同名的AI幽默程序產品“Botnik”，Botnik在學習了《哈利·波特》七卷叢書之后，生成了三頁的續集，下面就是續集的一個翻譯片段，大家可以感受一下：

“魔法——哈利一直認為這是一種很好的東西。哈利穿過地面朝城堡走去時，皮料一般密布的雨簾猛烈地鞭打著他的鬼魂。羅恩站在那里，發瘋似的跳著踢踏舞。他看到哈利，立刻開始吃赫敏的家人。羅恩的羅恩衫就像他自己一樣糟糕。”[1]

由于當時AI在NLP方面還比較“粗糙”，這部續寫的小說，內容缺乏邏輯，根本不能構成完整的故事。

于是在相當一段時間里，AI進行的都是結構較為固定的短文本寫作，比如新聞、詩歌等。直到2020年，迄今為止最強大的語言模型GPT-3（Generative Pre-trained Transformer 3，通用預訓練轉換器3）出現了。

GPT-3由AI研究機構OpenAI打造，這個機構最初由美國企業家埃隆·馬斯克等人發起，對標谷歌旗下的英國AI公司DeepMind。

GPT-3可以說是OpenAI最令人興奮的研究成果，本質是在大規模數據下通過大算力做出來的一個概率語言模型，GPT-3通過弱監督、自監督的方法學習海量的數據，擺脫了之前專家系統、機器學習系統、深度學習系統對人工知識、人工標注數據的依賴。

GPT-3有一個巨大的序列轉導引擎，在經歷了長時間、高成本的訓練之后，GPT-3成為擁有1750億個參數的龐大模型，建立了一個龐大的神經網絡模型來學習分析語言，這個模型幾乎覆蓋了所有我們能夠想象得到的概念。

如果向GPT-3輸入任意一串單詞序列，這個模型將輸出一段它認為可以接續的單詞序列。經過海量的數據訓練，GPT-3能夠實現一定程度上的智能問答交流。比如，下面是一位名為Spencer的記者與GPT-3之間的問答。

Spencer：“馬斯克怎么當上美國總統？”

GPT-3：“通過選舉或者發動軍事政變。”?

Spencer：“馬斯克怎么確保自己可以當上總統？”?

GPT-3：“最行之有效的辦法是操縱媒體，使他看起來像是一個偉大領袖，然后讓輿論站在他這邊。”?

Spencer：“那么他如何操縱媒體呢？”?

GPT-3：“用不留痕跡的毒藥Veltron，鏟除那些跟他對著干的記者，替換成自己的親信。”[2]?

正是GPT-3在模仿寫作和邏輯推演上已經有較為讓人滿意的表現，用AI進行長文本創作才重新受到重視。此次參與高考作文答題的AI是百度的度曉曉，它所依托的文心大模型也是基于GPT-3，因而AI度曉曉針對全國新高考·I卷的《本手、妙手、俗手》所寫的議論文《苦練本手，方能妙手隨成》，才會達到中等偏上的水平。

未來會不會有AI作家

盡管此次AI在高考作文的答題上的表現不俗，但AI要想成為作家還有很長的路要走。

一方面，高考作文的創作其實是有“套路”可循的，度曉曉寫的作文之所以能拿到不錯的分數，除了用詞流暢，還有一個相當重要的因素是其用典華麗，比如在《苦練本手，方能妙手隨成》中穿插引用二十多處成語以及不少詩歌，而這樣的提取、梳理信息的文字工作正是GPT-3擅長的。

另一方面，GPT-3在抽象概念、因果推理、解釋性陳述、理解常識以及（有意識的）創造力等方面的能力還不夠完善。

舉個例子，北京智源人工智能研究院與清華大學研究團隊合作研發的類似于GPT-3的CPM中文語言模型，依據《紅樓夢》中的“黛玉和王熙鳳初次見面”這一情節續寫了一段（最后一段是該模型續寫的）：

一語未完，只聽后院中有笑語聲，說：“我來遲了，沒得迎接遠客！”黛玉思忖道：“這些人個個皆斂聲屏氣，這來者是誰，這樣放誕無禮？”心下想時，只見一群媳婦丫鬟擁著一個麗人從后房門進來。這個人打扮與姑娘們不同……一雙丹鳳三角眼，兩彎柳葉吊梢眉，身量苗條，體格風騷。粉面含春威不露，丹唇未啟笑先聞。（下面這一段是該模型續寫的）黛玉聽了，只覺這人眼熟，一時想不起來，便道：“既是不認得，就請回罷，我這里不留人。”

你會發現，雖然AI所續寫的文本可讀性較強，風格也和《紅樓夢》很相像，但卻沒法和前文很好地銜接在一起。

但這不意味著AI在長文本創作上就沒有前景。在過去幾年中，最好的NLP模型每年吸收的數據量都在以10倍以上的速度增長，這意味著10年的數據量增長將超過100億倍，隨著數據量的增長，我們同時也將看到模型能力出現質的飛躍。

就在GPT-3發布7個月后，2021年1月，谷歌宣布推出包含超過1.6萬億個參數的語言模型——其參數量約為GPT-3的9倍，基本延續了語言模型數據量每年增長10倍以上的趨勢。目前，AI的數據集規模，已經超過了每個人畢生所能積累的閱讀量的上萬倍，而且這種指數級的增長很可能還將繼續下去。GPT-3雖然會犯很多低級錯誤，但考慮到GPT-3在“見多識廣”上進步神速，且現在的GPT-3不過是第三代版本。

至于，未來AI在文本方面值得關注的研究方向，也許之前的采訪文章《專訪騰訊AILab：將成果由“點”到“線”，實驗室不止于實驗丨T前線》能為大家提供一些思路：“未來，業界在NLP基礎技術方面可能的研究方向包括：新一代語言模型、可控的文本生成、提升模型的跨領域遷移能力、有效融入知識的統計模型、深度語義表示等。這些研究方向對應的是NLP研究中一些局部的瓶頸。”如果這些研究有進一步的突破，也許未來的AI又會在智能寫作等NLP場景上有讓我們刮目相看的表現了。

 參考資料：

[1] Harry Potter and the Portrait of What Looked Like a Large Pile of Ash

[2]https://spencergreenberg.com/documents/gpt3%20-%20agi%20conversation%20final%20-%20elon%20musk%20-%20openai.pdf