AI 創意大比拼！華盛頓大學和艾倫人工智能研究所聯手，用幽默風趣的方式，揭示了 AI 創意背后的真相 原創
你是否曾為 ChatGPT 生成的那首“驚艷”詩歌而贊嘆不已？又或是被 GPT-4 編寫的“神級”劇本所折服？然而，華盛頓大學和艾倫人工智能研究所的最新研究卻給我們潑了一盆冷水——AI 的“創意”，其實不過是“拼湊大師”罷了！
研究人員們開發了一套名為“創意指數”（CREATIVITY INDEX）的評估體系，通過分析文本中與網絡文本的相似度，來衡量 AI 的“創意”程度。結果令人驚訝——專業人類作者的“創意指數”平均比 AI 高出 66.2%！這簡直就像是一場“拼圖大賽”，人類作者用獨特的視角和豐富的想象力，拼出了一個個精彩絕倫的作品，而 AI 則不過是“撿起”了網絡上的碎片，拼湊出了“新”的“作品”而已。
別急，這可不是什么“黑科技”，而是基于嚴謹的算法和海量數據得出的結論。研究人員們還開發了一套名為“DJ 搜索”（DJ SEARCH）的算法，能夠快速找出文本中與網絡文本的相似度，為“創意指數”的計算提供了有力保障。
這項研究不僅揭示了 AI 創意的真相，還為我們在數字時代如何更好地使用 AI 提供了新的思路。畢竟，與其讓 AI 做一個“拼圖大師”，不如讓它成為一個“創意助手”，為人類的創造力插上翅膀！??????
圖1：(a)DJ SEARCH的示例輸出。讓ChatGPT依據米歇爾·伊拉姆（Michele Elam）教授的論文《詩歌不會優化；抑或，文學之于人工智能意味著什么？》（伊拉姆，2023年）的標題來生成一篇摘要。與伊拉姆教授撰寫的原始摘要相比，ChatGPT生成的摘要與網絡上現有文本逐字匹配以及近乎逐字匹配的情況要多得多。(b)創造力指數的定義。創造力指數在數學上等同于在一系列最小n元語法長度L范圍內，L-獨特性曲線下方的面積。在所有領域中，在不同的語境粒度（即n元語法長度）下，ChatGPT的L-獨特性明顯低于熟練的人類作者，這使得人類作者相較于ChatGPT而言，其創造力指數要高得多。
方法
CREATIVITY INDEX
CREATIVITY INDEX 的核心思想是通過估計給定文本中有多少可以通過混合和匹配來自網絡的大量現有文本片段來重建，從而量化該文本的語言創造力。具體來說，CREATIVITY INDEX 評估文本內容在多大程度上可以追溯到在其他現有文本中找到的類似或相同的上下文。
具體步驟：
- 定義文本： 將文本 x 定義為我們想要量化創造力的文本，例如演講記錄或詩歌，可以是人工書寫或機器生成的。
- 定義 n-gram： n-gram 是 x 中任何連續的 n 個單詞序列，其中 x_i:i+n 是 x 中以第 i 個單詞開始的 n-gram。
- 定義參考語料庫： C 是包含公開可訪問文本的巨大參考語料庫，f 是一個二元函數，它確定 n-gram x_i:i+n 是否出現在語料庫 C 中。
- 定義 L-uniqueness： L-uniqueness 是文本 X 中不包含在語料庫 C 中的 n-gram 的比例，這些 n-gram 包含 w。即 uniq(x, L) = 1 - sum(1 / |x| * 1{f(x_i:i+n, C) = 0 for all i in (k-n, k], n >= L)}).
- 定義 CREATIVITY INDEX： CREATIVITY INDEX 是 L-uniqueness 在各種上下文粒度（即 n-gram 長度）上的積分，即 sumuniq(x, n)。
特殊情況：
- 如果文本 X 是參考語料庫 C 的一部分，其 CREATIVITY INDEX 將簡單地變為零。為了解決這個問題，對于在參考語料庫截止日期之前撰寫的人工文本，我們排除了包含 X 的副本、引述或引用的任何文檔 d∈C，并使用此過濾語料庫計算 CREATIVITY INDEX。
DJ SEARCH
為了高效地計算 CREATIVITY INDEX，我們引入了 DJ SEARCH，這是一種動態規劃算法，用于快速識別語料庫 C 中所有 x 的 n-gram（n >= L）。
具體步驟：
- 兩指針方法： 使用兩指針方法來迭代地搜索每個索引 i 處的最長 n-gram，它以 i 開始并出現在 C 中。
- 計算 f： f 可以通過計算 n-gram 之間的 WMD 來確定，其中 WMD 結合了每個 n-gram 之間的單詞嵌入距離。
- 優化： 為了進一步優化效率，我們僅對與 X 最相似的 C 中的文本計算 WMD，并使用 Infinigram 來查找 C 中 X_i:i+n 的精確匹配。
實驗
本研究通過多項實驗評估了人類文本與大型語言模型（LLMs）文本的創造力差異，并探討了不同因素的影響。
圖2： a - c：僅基于逐字匹配得出的小說創作（a）、詩歌創作（b）以及演講稿撰寫（c）中的創造力指數。 d：同時考慮逐字匹配和語義匹配的小說創作中的創造力指數。 e：針對人類和OLMo（語言模型），在小說創作中相對于最小n元語法長度L的L-獨特性。 f - g：在小說創作中，經過人類反饋強化學習（RLHF）前后大型語言模型（LLMs）的創造力指數，其中（f）僅基于逐字匹配，（g）基于逐字匹配和語義匹配。 h：在小說創作中，相對于參考語料庫中文檔數量的L-獨特性。 i：在小說創作中對排名前50的文檔進行檢索時的L-獨特性。 j：在小說創作中使L-獨特性保持在50%以下所需的參考文檔數量。 k - l：在小說創作中，基于逐字匹配，將GPT - 4與人類的創造力指數進行對比，使用了源自杰瑪 - 7B、羊駝3 - 8B以及混合專家 - 7B的指令對齊版本以及這三者組合生成的機器生成參考語料庫。 m：不同人類作者群體的創造力指數。 n：跨多個領域的檢測曲線下面積（AUROC）：所提方法為零樣本檢測設定了新的最先進水平，甚至超過了有監督的基準。
人類文本與LLMs文本的創造力對比
實驗方法：
- 收集人類文本數據：包括BookMIA數據集中的書籍片段、PoemHunter.com收集的現代詩歌以及美國演說數據庫中的著名演講。
- 收集LLMs文本數據：通過提示LLMs生成小說、詩歌和演講文本。
- 使用創造力指數（CREATIVITY INDEX）評估文本創造力。
實驗結果：
- 人類文本的創造力指數平均比LLMs文本高52.2%。
- 在小說創作、詩歌創作和演講起草任務中，人類文本的創造力指數均顯著高于LLMs文本。
不同匹配標準對創造力測量的影響
實驗方法：
- 分別使用僅考慮字面匹配和同時考慮字面匹配和語義匹配兩種標準評估創造力指數。
實驗結果：
- 同時考慮字面匹配和語義匹配時，人類文本與LLMs文本的創造力差距更大。
- 語義匹配可以提供更多關于長n-gram獨特性的信號。
RLHF對模型創造力的影響
實驗方法：
- 比較LLMs在RLHF對齊前后的創造力指數。
實驗結果：
- RLHF顯著降低了LLMs的創造力指數，平均降低了30.1%。
圖4： a - c：ChatGPT在小說創作中基于逐字匹配的創造力指數，分別展示了不同的提示格式（a）、top-p解碼中的p值（b）以及提示長度（c）情況。 d：不同模型尺寸的LLaMA 2 Chat和Tulu 2的創造力指數。
參考語料庫中重疊n-gram的分布
實驗方法：
- 分析LLMs和人類文本中匹配的n-gram在參考語料庫中的分布情況。
實驗結果：
- 與人類文本相比，LLMs文本中匹配的n-gram更集中在少數文檔中。
LLMs在參考語料庫之外的數據上的創造力測量
實驗方法：
- 使用與GPT-4訓練數據相似的開源LLMs生成的參考語料庫評估GPT-4的創造力。
實驗結果：
- 人類文本的創造力指數平均比GPT-4高30.3%。
不同群體人類文本的創造力差異
實驗方法：
- 比較經典文學、2023年出版的書籍和流行青少年小說的創造力指數。
實驗結果：
- 經典文學的創造力指數高于其他兩類文本。
利用創造力差異進行機器文本檢測
實驗方法：
- 使用創造力指數作為零樣本黑盒機器文本檢測的依據。
實驗結果：
- 該方法在零樣本檢測中取得了最先進的性能，超越了DetectGPT和OpenAI的檢測器，并優于Ghostbuster等監督學習方法。
結論與展望
想象一下，如果你能穿越回那個沒有手機、電腦，甚至連電燈都還沒普及的年代，你會看到什么樣的景象呢？或許，你會看到一個充滿想象力和創造力的世界，人們用筆墨在紙上書寫著一個個動人的故事，用琴弦在空氣中彈奏出美妙的旋律。而現在，AI 大語言模型（LLM）的出現，似乎正在重新點燃這個世界的創造力火花。
研究表明，LLM 的“創造力”其實很大程度上來源于網絡上的現有文本片段。換句話說，LLM 就像是那個時代的一位DJ，將現有的音樂碎片重新組合，創造出新的旋律。而真正的“作曲家”們，則像海明威那樣，用他們獨特的視角和深刻的思想，創作出獨一無二的作品。
雖然LLM在“創作”方面展現出了驚人的能力，但它們仍然無法完全取代人類的創造力。畢竟，人類的創造力不僅僅來源于對現有知識的積累，更來自于對世界的獨特理解和感悟。
未來，隨著AI技術的不斷發展，我們可以期待LLM在更多領域發揮其“創造力”的作用。但與此同時，我們也要保持清醒的頭腦，認識到人類在創造力方面的獨特價值。
本文轉載自公眾號AIGC最前線 作者：實習小畢
