一年一度的微軟「Build開發者大會」前兩天剛剛開幕。

微軟CEO Satya Nadella在發布會上介紹了這次主要的更新，以ChatGPT為代表的生成式AI成為本次大會的重中之重，其中包括自家的重頭戲——Windows Copilot。

演講視頻鏈接：https://youtu.be/6PRiAexITSs

前段時間剛宣布回歸OpenAI的業界大牛、李飛飛高徒、特斯拉前AI總監Andrej Karpathy，也在大會發表了題為「GPT現狀」（State of GPT）的主題演講。

演講內容主要包括了解ChatGPT等GPT助手的訓練途徑，他將其分為標記化（Tokenization）、預訓練（Pretraining）、監督微調（Supervised Finetuning）和人類反饋強化學習 (RLHF)幾步。

另外，他還闡釋了有效使用這些模型的實用技術和心智模型的方法，包括提示策略（Prompting Strategies）、微調（Finetuning）、快速增長的工具生態系統及其未來的擴展。

演講的視頻鏈接小編也放在下面啦，干貨滿滿一起來看看~

視頻鏈接：https://build.microsoft.com/en-US/sessions/db3f4859-cd30-4445-a0cd-553c3304f8e2

GPT助手的訓練途徑

在進行預訓練之前，有2個準備步驟。

首先是數據收集——從不同來源獲取大量數據，下圖展示的是通過Meta LLaMA模型從Github、維基百科等來源收集的混合數據。

接下來就是標記化，將文本中的單詞標記并轉換為整數。

然后他用兩個模型做了個對比，相比175B參數的GPT-3在300B個代幣上訓練，而65B參數的LLaMA已經在1-1.4T個代幣上訓練。

證明了「并不是參數大的模型性能就強」。

預訓練階段

Andrej Karparthy首先介紹了一下預訓練中Transformer的工作原理。

然后向我們展示了GPT模型如何通過不斷迭代，更準確地預測莎士比亞詩句中的單詞。

順便重點強調了一下自家LLaMA模型的牛掰之處，從下圖的訓練曲線中可以看出LLaMA在訓練損失方面明顯要比傳統GPT-2要低上不少。

另外圍繞GPT-2，許多學者注意到，如果我們以特定方式構建提示，并提供一些示例，那么基礎模型將自動完成我們在提示中提供的指令。

基礎模型不是助手，他們不會「根據你的提問回答」，他們只會自動完成文本。

比如在下面這篇文本里，對于人類提出的問題，模型通過輸入的「Few-shot提示」讓它誤以為他它自動完成了人工智能和人類之間的聊天。

Andrej接下來畫出了GPT模型的進化樹，可以看到頂端的模型包括谷歌的Bard，Meta的LLaMA。

監督微調

通過使用交換數據集訓練模型，我們得到了監督微調后的模型，簡稱SFT模型。

但SFT模型還不是很好，絕對達不到ChatGPT質量，于是訓練繼續。

我們使用SFT模型生成問題輸出，通過用戶對三個版本的比較得出排名最佳的版本，然后根據用戶的選擇對模型進行重新訓練。

而這些決策是根據用戶的反饋而得出的，例如當你在ChatGPT中對問題的答案點擊??或??，或選擇重新生成響應，這也是RLHF（人類反饋強化學習）的基礎。

有趣的是，Andrej談到的RLHF并不是對基本模型的嚴格改進，因為RLHF模型的熵較小，因此它的創造性可能較少。

基礎模型在生成答案的多樣性方面可能比微調模型更優秀，例如下圖生成的100個寶可夢的名字，基礎模型能給你更多想要的答案。

最后，Andrej展示了伯克利大學的校友制作的輔助模型的「野榜」，OpenAI的GPT-4似乎是目前最優秀的。

Andrej接下來展示了人類和GPT模型在處理一個相同的句子的處理過程。

人腦對「加州的人口是阿拉斯加州的53倍」這句話的處理要經歷提取信息、事實核查、計算、再次驗證等過程。

然而對GPT來說他要做的就是自動完成文本，沒有內在的思考對話。

而像Chain of thought「思維鏈」這樣的方法可以為模型提供更多標記或更多思考時間。

這將使模型展示它的工作原理，并給它思考時間以獲得更好的答案。

最后還展示了ChatGPT中工具的用法。

演講最后，Andrej再再再次強調了LLaMA就是迄今最優秀的模型，另外@YannLecun希望他能盡快將其推出商用。