自從 Meta 發(fā)布并開源了 LLaMA 系列模型，來自斯坦福大學(xué)、UC 伯克利等機(jī)構(gòu)的研究者們紛紛在 LLaMA 的基礎(chǔ)上進(jìn)行「二創(chuàng)」，先后推出了 Alpaca、Vicuna 等多個「羊駝」大模型。

羊駝已然成為開源社區(qū)的新晉頂流。由于「二創(chuàng)」過于豐富，生物學(xué)羊駝屬的英文單詞都快不夠用了，但是用其他動物的名字給大模型命名也是可以的。

最近，UC 伯克利的伯克利人工智能研究院（BAIR）發(fā)布了一個可以在消費(fèi)級 GPU 上運(yùn)行的對話模型 Koala（直譯為考拉）。Koala 使用從網(wǎng)絡(luò)收集的對話數(shù)據(jù)對 LLaMA 模型進(jìn)行微調(diào)。

項(xiàng)目地址：?https://bair.berkeley.edu/blog/2023/04/03/koala/?

Koala 已經(jīng)推出線上測試 demo：

• Demo 地址：https://chat.lmsys.org/?model=koala-13b
• 開源地址：https://github.com/young-geng/EasyLM

Koala 概述

與 Vicuna 類似，Koala 也使用從網(wǎng)絡(luò)收集的對話數(shù)據(jù)對 LLaMA 模型進(jìn)行微調(diào)，其中重點(diǎn)關(guān)注與 ChatGPT 等閉源大模型對話的公開數(shù)據(jù)。

研究團(tuán)隊(duì)表示，Koala 模型在 EasyLM 中使用 JAX/Flax 實(shí)現(xiàn)，并在配備 8 個 A100 GPU 的單個 Nvidia DGX 服務(wù)器上訓(xùn)練 Koala 模型。完成 2 個 epoch 的訓(xùn)練需要 6 個小時。在公共云計(jì)算平臺上，進(jìn)行此類訓(xùn)練的成本通常低于 100 美元。

研究團(tuán)隊(duì)將 Koala 與 ChatGPT 和斯坦福大學(xué)的 Alpaca 進(jìn)行了實(shí)驗(yàn)比較，結(jié)果表明：具有 130 億參數(shù)的 Koala-13B 可以有效地響應(yīng)各種用戶查詢，生成的響應(yīng)通常優(yōu)于 Alpaca，并且在超過一半的情況下與 ChatGPT 性能相當(dāng)。

Koala 最重要的意義是它表明：在質(zhì)量較高的數(shù)據(jù)集上進(jìn)行訓(xùn)練，那么小到可以在本地運(yùn)行的模型也可以獲得類似大模型的優(yōu)秀性能。這意味著開源社區(qū)應(yīng)該更加努力地管理高質(zhì)量數(shù)據(jù)集，因?yàn)檫@可能比簡單地增加現(xiàn)有系統(tǒng)的規(guī)模更能實(shí)現(xiàn)安全、真實(shí)和強(qiáng)大的模型。從這個角度看，Koala 是 ChatGPT 一種小而精的平替。

不過，Koala 還只是一個研究原型，在內(nèi)容、安全性和可靠性方面仍然存在重大缺陷，也不應(yīng)用于研究之外的任何用途。

數(shù)據(jù)集和訓(xùn)練

構(gòu)建對話模型的主要障礙是管理訓(xùn)練數(shù)據(jù)。ChatGPT、Bard、Bing Chat 和 Claude 等大型對話模型都使用帶有大量人工注釋的專有數(shù)據(jù)集。為了構(gòu)建 Koala 的訓(xùn)練數(shù)據(jù)集，研究團(tuán)隊(duì)從網(wǎng)絡(luò)和公共數(shù)據(jù)集中收集對話數(shù)據(jù)并整理，其中包含用戶公開分享的與大型語言模型（例如 ChatGPT）對話的數(shù)據(jù)。

不同于其他模型盡可能多地抓取網(wǎng)絡(luò)數(shù)據(jù)來最大化數(shù)據(jù)集，Koala 是專注于收集小型高質(zhì)量數(shù)據(jù)集，包括公共數(shù)據(jù)集中的問答部分、人類反饋（正面和負(fù)面）以及與現(xiàn)有語言模型的對話。具體而言，Koala 的訓(xùn)練數(shù)據(jù)集包括如下幾個部分：

ChatGPT 蒸餾數(shù)據(jù)：?

• 公開可用的與 ChatGPT 對話數(shù)據(jù)（ShareGPT）；
• Human ChatGPT 比較語料庫 (HC3)，其中同時使用來自 HC3 數(shù)據(jù)集的人類和 ChatGPT 響應(yīng)。

開源數(shù)據(jù)：?

• Open Instruction Generalist (OIG)；
• 斯坦福 Alpaca 模型使用的數(shù)據(jù)集；
• Anthropic HH；
• OpenAI WebGPT；
• OpenAI Summarization。

實(shí)驗(yàn)與評估

該研究進(jìn)行了一項(xiàng)人工評估，將 Koala-All 與 Koala-Distill、Alpaca 和 ChatGPT 幾個模型的生成結(jié)果進(jìn)行比較，結(jié)果如下圖所示。其中，使用兩個不同的數(shù)據(jù)集進(jìn)行測試，一個是斯坦福的 Alpaca 測試集，其中包括 180 個測試查詢（Alpaca Test Set），另一個是 Koala Test Set。

總的來說，Koala 模型足以展示 LLM 的許多功能，同時又足夠小，方便進(jìn)行微調(diào)或在計(jì)算資源有限的情況下使用。研究團(tuán)隊(duì)希望 Koala 模型成為未來大型語言模型學(xué)術(shù)研究的有用平臺，潛在的研究應(yīng)用方向可能包括：

• 安全性和對齊：Koala 允許進(jìn)一步研究語言模型的安全性并更好地與人類意圖保持一致。
• 模型偏差：Koala 使我們能夠更好地理解大型語言模型的偏差，深入研究對話數(shù)據(jù)集的質(zhì)量問題，最終有助于改進(jìn)大型語言模型的性能。
• 理解大型語言模型：由于 Koala 模型可以在相對便宜的消費(fèi)級 GPU 上運(yùn)行，并且執(zhí)行多種任務(wù)，因此 Koala 使我們能夠更好地檢查和理解對話語言模型的內(nèi)部結(jié)構(gòu)，使語言模型更具可解釋性。