譯者 | 李睿

審校 | 重樓

自去年11月發布以來，ChatGPT吸引了全球各行業人士的注意力和想象力。人們將它用于各種任務和應用程序，而且它有可能改變流行的應用程序并創建新的應用程序。

但ChatGPT也引發了微軟和谷歌等科技巨頭之間的人工智能競賽，使得該行業在大型語言模型(LLM)上的競爭更加激烈，并越來越降低了開放性。這些遵循指令的LLM的源代碼、模型架構、權重和訓練數據不對公眾開放。它們中的大多數都可以通過商業API或黑盒網絡應用程序獲得。

ChatGPT、Bard和Claude等封閉式LLM有很多優勢，包括容易獲得尖端技術。但它們也對想要學習和更好地理解LLM的研究實驗室和科學家帶來了一些限制。對于想要創建和運行自己的模型的企業和組織來說，也很不方便。

幸運的是，在創建商業LLM的競賽中，也有一個社區努力創建與最先進的LLM性能相匹配的開源模型。這些模型可以通過分享結果來幫助改進研究。他們還可以幫助防止一些資金充足的企業對LLM市場擁有太多的影響和權力。

LLaMa

最重要的開源語言模型之一來自Meta公司的人工智能研究實驗室FAIR。今年2月，FAIR發布了LLaMA，這是一個LLM家族，有四種不同的大小：7億個、13億個、33億個和650億個參數（ChatGPT基于1750億參數的InstructGPT模型）。

FAIR研究人員對1.4萬億令牌的LLaMA 65B和LLaMA 33B進行了訓練，對1萬億令牌的最小模型LLaMA 7B進行了訓練（GPT-3 175B是InstructGPT的基本模型，在4990億個令牌上進行了訓練）。

LLaMa不像ChatGPT那樣是一個遵循指令的LLM。但LLaMA規模較小背后的想法是，在更多令牌上預訓練的較小模型更容易重新訓練，并更容易針對特定任務和用例進行微調。這使得其他研究人員可以通過人類反饋強化學習(RLHF)等技術對模型進行微調，使其具有類似ChatGPT的性能。

Meta公司以“專注于研究用例的非商業許可”發布了該模型。它只讓學術研究人員、政府附屬組織、民間社會和研究實驗室根據具體情況訪問該模型。人們為了了解可以查閱一些論文，并請求訪問訓練過的模型。

LLaMa模型在發布后不久就被泄露到網上，這實際上讓所有人都可以使用它。

Alpaca

斯坦福大學的研究人員在今年3月發布了Alpaca，這是一種基于LLaMA 7B LLM之后的指令。他們在由InstructGPT生成的52,000個指令遵循示例的數據集上對LLaMA模型進行了微調。

研究人員使用了一種叫做自我指導的技術，在這種技術中，LLM生成指令、輸入和輸出樣本來微調自己。自我指導從一小部分工作人員編寫的例子開始，包括指導和輸出。研究人員使用這些例子來提示語言模型生成類似的例子。然后他們審查和過濾生成的示例，將高質量的輸出添加到種子池中，并刪除其余的輸出。他們重復這個過程，直到獲得足夠大的數據集來微調目標模型。

Alpaca的訓練流程

根據他們的初步實驗，Alpaca的表現與InstructGPT非常相似。

斯坦福大學的研究人員發布了整個自我指導的數據集，數據生成過程的細節，以及生成數據和微調模型的代碼（由于Alpaca是基于LLaMA的，必須從Meta公司獲取原始模型）。

其研究人員表示，其樣品生成的微調成本不到600美元，這對于資金緊張的實驗室和組織來說很適用。

然而，研究人員強調，Alpaca僅用于學術研究，禁止用于任何商業用途。它是由LLaMa創建的，這使得它受到與其基本模型相同的許可規則的約束。由于研究人員使用了InstructGPT來生成微調數據，因此他們必須遵守OpenAI公司的使用條款，該條款禁止開發與OpenAI公司競爭的模型。

Vicuna

加州大學伯克利分校、卡內基梅隆大學、斯坦福大學和加州大學圣地亞哥分校的研究人員發布了Vicuna，這是基于LLaMA的遵循指令的另一個LLM。Vicuna有70億個和130億個參數的兩種大小。

研究人員使用Vicuna的訓練代碼和ShareGPT上的7萬個例子對Vicuna進行了微調。ShareGPT是一個用戶可以與ChatGPT分享對話的網站。他們對訓練過程做了一些改進，以支持更長的對話場景。他們還使用了SkyPilot機器學習工作量管理器，將訓練成本從500美元降至140美元左右。

Vicuna的LLM訓練流程

初步評估表明，Vicuna的表現優于LLaMA和Alpaca，也非常接近Bard和ChatGPT-4。研究人員發布了模型權重以及安裝、訓練和運行LLM的完整框架。還有一個非常有趣的在線演示，用戶可以在其中測試和比較Vicuna與其他開源指令LLM。

Vicuna的在線演示是“僅供非商業用途的研究預覽”。用戶要運行自己的模型，必須首先從Meta獲取LLaMA實例并對其應用權重增量。

Dolly

Databricks公司在今年3月發布了Dolly，這是EleutherAI的GPT-J 6B的微調版本。研究人員受到LLaMA和Alpaca研究團隊所做工作的啟發。訓練Dolly的費用不到30美元，只需在一臺計算機上花費30分鐘訓練。

EleutherAI基礎模型的使用消除了Meta對LLaMA衍生LLM的限制。然而，Databricks根據Standford Alpaca團隊通過ChatGPT生成的相同數據訓練Dolly。因此，由于OpenAI公司對ChatGPT生成的數據施加了競業限制，該模型仍然不能用于商業目的。

Databricks公司在今年4月發布了Dolly 2.0，這是一個基于EleutherAI的Pythia模型的具有120億個參數的大型語言模型。這一次，Databricks公司在15000個示例數據集上對模型進行了微調，這些示例完全由人類生成。他們通過一個有趣的、游戲化的過程收集了這些例子，其中包括Databricks公司的5000名員工。

Databricks公司發布了訓練有素的Dolly 2.0模型，它沒有以前模型的條款限制，用戶可以將它用于商業目的。Databricks公司還發布了15K指令遵循語料庫，用于微調Pythia模型。機器學習工程師可以使用這個語料庫來微調他們自己的LLM。

Open Assistant

Open Assistant是一個非常有趣的項目，這是一個類似于ChatGPT的語言模型，從一開始就以防止大公司壟斷LLM市場為目的。

其研究團隊將開放他們所有的模型、數據集、開發、數據收集等，這是一項全面、透明的社區努力結果。所有參與該項目的人員都是志愿者，致力于開放性。

觀看其聯合創始人兼團隊負責人Yannic Kilcher的娛樂視頻，可以了解Open Assistant的最佳方式。Kilcher長期以來一直直言不諱地批評OpenAI等公司采取的封閉方式。

Open Assistant有基于LLaMA和Pythia的不同版本。用戶可以將Pythia版本用于商業目的。大多數模型可以在單個GPU上運行。

來自世界各地的13000多名志愿者幫助收集了用于微調基本模型的樣本。該團隊將很快發布所有數據以及一篇解釋該項目的論文。經過訓練的模型可以在Hugging Face上找到。該項目的GitHub頁面包含用于訓練模型和使用模型的前端的完整代碼。

該項目還有一個網站，用戶可以在那里與Open Assistant聊天并測試模型。它有一個任務儀表板，用戶可以通過創建提示或標記輸出來為項目做出貢獻。

開源之美

最近推出開源LLM的努力為科技公司重振合作和共享權力的承諾做出了很大貢獻，而這正是互聯網最初的承諾。它展示了所有這些不同的社區如何相互幫助，共同推動這一領域的發展。

LLaMA的開源模型幫助推動了這場運動。Alpaca項目表明，創建調整指令的LLM不需要付出巨大的努力和成本。這反過來又激發了Vicuna項目的靈感，該項目進一步降低了訓練和收集數據的成本。Dolly則朝著不同的方向努力，展示了社區主導的數據收集工作的好處，以解決商業模型的競業限制要求。

當然，還有其他幾個值得一提的模型，包括加州大學伯克利分校的Koala和LLaMA.cpp, LLaMA .cpp是LLaMA模型的C++實現，可以在ARM處理器上運行。在接下來的幾個月，觀察開源運動將如何發展以及它將如何影響LLM市場，將成為一件有趣的事情。

原文標題：A look at open-source alternatives to ChatGPT，作者：Ben Dickson