快速瀏覽一下頭條新聞就會發現，如今生成人工智能似乎無處不在。事實上，其中一些標題實際上可能是由生成人工智能（如OpenAI的ChatGPT）撰寫的，這是一個聊天機器人，展示了一種近乎人類寫作的不可思議的能力。

但當人們說“生成人工智能”時，他們真正指的是什么呢？

在過去幾年生成人工智能的興起之前，當人們談論人工智能時，通常是在談論能夠根據數據進行預測的機器學習模型。例如，這些模型通過數百萬個示例進行訓練，以預測某個X射線是否顯示出腫瘤的跡象，或者某個借款人是否可能違約。

生成人工智能可以被看作是一種機器學習模型，它被訓練用于創建新數據，而不是對特定數據集進行預測。生成式人工智能系統能夠學習生成更多看起來像它所訓練的數據的對象。

麻省理工學院電氣工程和計算機科學副教授，計算機科學與人工智能實驗室（CSAIL）成員Phillip Isola說：“當涉及到生成人工智能和其他類型的人工智能的實際機制時，區分可能會有點模糊。通常，相同的算法可以同時用于兩者，”

盡管ChatGPT及其類似產品發布時引起了很大轟動，但這項技術本身并不是全新的。這些強大的機器學習模型借鑒了超過50年的研究和計算進展。

復雜性的增加

生成人工智能的早期例子是一種更簡單的模型，稱為馬爾可夫鏈。這項技術以安德烈·馬爾可夫（Andrey Markov）命名，他是一位俄羅斯數學家，于1906年引入了這種統計方法來模擬隨機過程的行為。在機器學習中，馬爾可夫模型長期以來一直用于下一個單詞的預測任務，例如電子郵件程序中的自動完成功能。

在文本預測中，馬爾可夫模型通過查看前一個單詞或前幾個單詞來生成句子中的下一個單詞。但由于這些簡單模型只能回望到那么遠，它們在生成可信文本方面并不擅長，麻省理工學院電氣工程和計算機科學Tommi Jaakkola 教授解釋說，他也是CSAIL和數據、系統與社會研究所（IDSS）的成員。

“我們在過去的十年之前就已經開始生成東西，但這里的主要區別在于我們可以生成的對象的復雜性以及我們可以訓練這些模型的規模，”他解釋說。

就在幾年前，研究人員往往專注于找到一種機器學習算法，以最好地利用特定數據集。但這個焦點發生了一些變化，許多研究人員現在使用更大的數據集，可能包含數億甚至數十億的數據點，以訓練能夠取得令人印象深刻結果的模型。

ChatGPT及其類似系統的基礎模型的工作方式與馬爾可夫模型非常相似。但一個重大區別在于ChatGPT更大、更復雜，具有數十億個參數。而且它經過了大量的數據訓練，本例中主要是互聯網上的大量公開文本。

在這龐大的文本語料庫中，單詞和句子以特定的依賴關系序列出現。這種重復幫助模型理解如何將文本劃分為具有一定可預測性的統計塊。它學習這些文本塊的模式，并利用這一知識提出可能出現的下一步。

更強大的架構

盡管更大的數據集是導致生成人工智能蓬勃發展的一個催化劑，但各種重大研究進展也導致了更復雜的深度學習架構。

在2014年，蒙特利爾大學的研究人員提出了一種稱為生成對抗網絡（GAN）的機器學習架構。GAN使用兩個協同工作的模型：一個學習生成目標輸出（如圖像），另一個學習區分真實數據和生成器輸出。生成器試圖欺騙鑒別器，并在此過程中學會生成更逼真的輸出。圖像生成器StyleGAN就是基于這類模型的。

一年后，斯坦福大學和加利福尼亞大學伯克利分校的研究人員引入了擴散模型。通過迭代地改進其輸出，這些模型學會生成新的數據樣本，這些樣本類似于訓練數據集中的樣本，并被用于創建看起來逼真的圖像。擴散模型是文本到圖像生成系統穩定擴散的核心。

2017年，谷歌的研究人員推出了 Transformer架構，該架構后來被用于開發大型語言模型，如驅動ChatGPT的模型。在自然語言處理中， Transformer將文本語料庫中的每個單詞編碼為Token，然后生成一個關注圖，捕捉每個Token與所有其它Tokens的關系。這個關注圖幫助 Transformer在生成新文本時理解上下文。

這只是許多可以用于生成人工智能的方法之一。

系列應用

各種方法的共同之處在于它們將輸入轉換為一組Tokens，這些Tokens是數據塊的數值表示。只要您的數據可以轉換為這種標準的標記格式，理論上，您可以應用這些方法生成看起來相似的新數據。

Isola表示：“您的效果可能有所不同，這取決于您的數據有多嘈雜以及信號有多難提取，但它確實越來越接近通用CPU可以接收任何類型數據并以統一方式開始處理的方式。” 這為生成人工智能開辟了大量的應用領域。

例如，Isola的研究團隊正在使用生成人工智能創建合成圖像數據，這些數據可以用于訓練另一個智能系統，例如通過教計算機視覺模型如何識別物體。

Jaakkola 的研究團隊正在使用生成人工智能設計新穎的蛋白質結構或指定新材料的有效晶體結構。他解釋說，就像生成模型學習語言的依賴關系一樣，如果向其展示晶體結構，它可以學習使結構穩定且可實現的關系。

麻省理工學院電氣工程和計算機科學系和IDSS和信息與決策系統實驗室的成員 Andrew和Erna Viterbi 教授Devavrat Shah表示，盡管生成模型可以實現令人難以置信的結果，但它們并不是所有類型數據的最佳選擇。對于涉及對結構化數據進行預測的任務，例如電子表格中的表格數據，生成人工智能模型往往被傳統的機器學習方法超越。

引起警示

生成人工智能聊天機器人現在正在呼叫中心中用于回答人類顧客的問題，但這個應用凸顯了實施這些模型可能存在的一個潛在問題 — 工人被替代。

此外，生成人工智能可能繼承和傳播存在于訓練數據中的偏見，或者放大仇恨言論和虛假陳述。這些模型有能力抄襲，并且可以生成看起來像是由特定人類創作者制作的內容，這引發了潛在的版權問題。

另一方面，Shah提出，生成人工智能可以賦予藝術家們力量，他們可以使用生成工具幫助他們制作可能在其他情況下無法制作的創意內容。

在未來，他認為生成人工智能將改變許多學科的經濟學。

Isola看到生成人工智能的一個有希望的未來方向是在制造領域的應用。他認為，與其讓一個模型制作一張椅子的圖像，也許它可以生成一張可以生產的椅子計劃。

他還看到生成人工智能系統在開發更智能的“智能體”方面有未來的用途。

Isola表示：“這些模型的工作方式與我們認為人腦的工作方式有所不同，但我認為也存在相似之處。我們有能力在腦海中思考和夢想，提出有趣的想法或計劃，我認為生成人工智能是賦予代理執行這些任務的工具之一。”

本文轉載自 ??MoPaaS魔泊云??，作者： Adam Zewe