最近一段時間，以 “羊駝” 家族為代表的各類 ChatGPT 替代模型不斷涌現(xiàn)。一方面，開源社區(qū)也有了可以與 ChatGPT “一較高下” 的開源模型；而另一方面，各模型在如何提升 LLM 的指令表現(xiàn)方面以及評估 LLM 效果的方法不盡相同。

此前，一個基于斯坦福的 Alpaca 、并進行了中文優(yōu)化的項目受到大家關(guān)注，即開源中文對話大模型 70 億參數(shù)的 ??BELLE??（Be Everyone's Large Language model Engine）。它基于斯坦福的 Alpaca 完成，但進行了中文優(yōu)化，并對生成代碼進行了一些修改，不僅如此，模型調(diào)優(yōu)僅使用由 ChatGPT 生產(chǎn)的數(shù)據(jù)（不包含任何其他數(shù)據(jù)）。

BELLE 的目標(biāo)是促進中文對話大模型開源社區(qū)的發(fā)展，愿景是成為能夠幫到每一個人的 LLM  Engine。

相比如何做好大語言模型的預(yù)訓(xùn)練，BELLE 更關(guān)注如何在開源預(yù)訓(xùn)練大語言模型的基礎(chǔ)上，幫助每一個人都能夠得到一個屬于自己的、效果盡可能好的具有指令表現(xiàn)能力的語言模型，降低大語言模型、特別是中文大語言模型的研究和應(yīng)用門檻。為此，BELLE 項目會持續(xù)開放指令訓(xùn)練數(shù)據(jù)、相關(guān)模型、訓(xùn)練代碼、應(yīng)用場景等，也會持續(xù)評估不同訓(xùn)練數(shù)據(jù)、訓(xùn)練算法等對模型表現(xiàn)的影響。

BELLE 項目亮點包括：

• 研究報告：從指令微調(diào)策略到模型評估范式等多方面探究提升大語言模型指令表現(xiàn)能力的因素
• 數(shù)據(jù)開放：豐富、大量且持續(xù)完善的訓(xùn)練和評估數(shù)據(jù)
• 開箱即用的多種模型和指令微調(diào) / LoRA / 量化代碼
• 多終端 LLM 推理和聊天 app，無需聯(lián)網(wǎng)，離線運行

還有其他功能，請移步 Github 項目 。

項目地址：https://github.com/LianjiaTech/BELLE

BELLE 項目的研究方向著眼于提升中文指令調(diào)優(yōu)模型的指令跟隨、指令泛化效果，降低模型訓(xùn)練和研究工作的門檻，讓更多人都能感受到大語言模型帶來的幫助。

為此 BELLE 進行了一系列研究，涵蓋模型評估方法、影響模型指令表現(xiàn)效果的因素、模型調(diào)優(yōu)等多方面。

最近，兩篇相關(guān)論文已經(jīng)公開，下面我們看看論文內(nèi)容。

論文介紹

論文 1：Towards Better Instruction Following Language Models for Chinese: Investigating the Impact of Training Data and Evaluation

論文地址：https://arxiv.org/pdf/2304.07854.pdf

為了推動開源大語言模型的發(fā)展，大家投入了大量精力開發(fā)能夠類似于 ChatGPT 的低成本模型。首先，為了提高模型在中文領(lǐng)域的性能和訓(xùn)練 / 推理效率，我們進一步擴展了 LLaMA 的詞匯表，并在 34 億個中文詞匯上進行了二次預(yù)訓(xùn)練。

此外，目前可以看到基于 ChatGPT 產(chǎn)生的指令訓(xùn)練數(shù)據(jù)方式有：1）參考 Alpaca 基于 GPT3.5 得到的 self-instruct 數(shù)據(jù)；2）參考 Alpaca 基于 GPT4 得到的 self-instruct 數(shù)據(jù)；3）用戶使用 ChatGPT 分享的數(shù)據(jù) ShareGPT。在這里，我們著眼于探究訓(xùn)練數(shù)據(jù)類別對模型性能的影響。具體而言，我們考察了訓(xùn)練數(shù)據(jù)的數(shù)量、質(zhì)量和語言分布等因素，以及我們自己采集的中文多輪對話數(shù)據(jù)，以及一些公開可訪問的高質(zhì)量指導(dǎo)數(shù)據(jù)集。

為了更好的評估效果，我們使用了一個包含一千個樣本和九個真實場景的評估集來測試各種模型，同時通過量化分析來提供有價值的見解，以便更好地促進開源聊天模型的發(fā)展。

這項研究的目標(biāo)是填補開源聊天模型綜合評估的空白，以便為這一領(lǐng)域的持續(xù)進步提供有力支持。

實驗結(jié)果如下：

其中 BELLE-0.5M-CLEAN 是從 230 萬指令數(shù)據(jù)中清洗得到 0.5M 數(shù)據(jù)，其中包含單輪和多輪對話數(shù)據(jù)，和之前開放的 0.5M 數(shù)據(jù)不是同一批數(shù)據(jù)。

需要強調(diào)指出的是，通過案例分析，我們發(fā)現(xiàn)我們的評估集在全面性方面存在局限性，這導(dǎo)致了模型分?jǐn)?shù)的改善與實際用戶體驗之間的不一致。構(gòu)建一個高質(zhì)量的評估集是一個巨大的挑戰(zhàn)，因為它需要在保持平衡難易程度的同時包含盡可能多樣的使用場景。如果評估樣本過于困難，那么所有模型的表現(xiàn)將會很差，更難辨別各種訓(xùn)練數(shù)據(jù)和策略的效果；相反，如果評估樣本都相對容易，評估將失去其比較價值。同樣地，評估集多樣性不夠的時候，容易出現(xiàn)評估有偏（例如當(dāng)某個模型的訓(xùn)練和評估領(lǐng)域或任務(wù)類型十分一致）。二者的聯(lián)合分布還可能導(dǎo)致部分任務(wù)上難易區(qū)分度高，部分任務(wù)上難易區(qū)分度低，進一步加大評估的難度和有效性。此外，必須確保評估數(shù)據(jù)與訓(xùn)練數(shù)據(jù)保持獨立。

圖 1 評估集的難易度與多樣性分布示意圖

基于這些觀察，我們謹(jǐn)慎地提醒不要假設(shè)模型僅通過在有限數(shù)量的測試樣本上獲得良好結(jié)果就已經(jīng)達(dá)到了與 ChatGPT 相當(dāng)?shù)男阅芩健Ｎ覀冋J(rèn)為，優(yōu)先發(fā)展全面評估集的持續(xù)發(fā)展具有重要意義。

這篇工作中的相關(guān)數(shù)據(jù)和模型將會于近日在 BELLE 項目中開源。

論文 2：A Comparative Study between Full-Parameter and LoRA-based Fine-Tuning on Chinese Instruction Data for Instruction Following Large Language Model

論文地址：https://arxiv.org/pdf/2304.08109.pdf

為了實現(xiàn)對大語言模型的指令調(diào)優(yōu)，受限于資源和成本，許多研究者開始使用參數(shù)高效的調(diào)優(yōu)技術(shù)，例如 LoRA，來進行指令調(diào)優(yōu)，這也取得了一些令人鼓舞的成果。相較于全參數(shù)微調(diào)，基于 LoRA 的調(diào)優(yōu)在訓(xùn)練成本方面展現(xiàn)出明顯的優(yōu)勢。在這個研究報告中，我們選用 LLaMA 作為基礎(chǔ)模型，對全參數(shù)微調(diào)和基于 LoRA 的調(diào)優(yōu)方法進行了實驗性的比較。

實驗結(jié)果揭示，選擇合適的基礎(chǔ)模型、訓(xùn)練數(shù)據(jù)集的規(guī)模、可學(xué)習(xí)參數(shù)的數(shù)量以及模型訓(xùn)練成本均為重要因素。

我們希望本文的實驗結(jié)論能對大型語言模型的訓(xùn)練提供有益的啟示，特別是在中文領(lǐng)域，協(xié)助研究者在訓(xùn)練成本與模型性能之間找到更佳的權(quán)衡策略。 

實驗結(jié)果如下：

其中的 Average Score 是基于本項目集目前開放的 1000 條評估集合得到的（見下文評估數(shù)據(jù)部分）。LLaMA-13B + LoRA (2M) 代表使用 LLaMA-13B 作為基礎(chǔ)模型和 LoRA 訓(xùn)練方法，在 2M 指令數(shù)據(jù)上進行訓(xùn)練的模型；而 LLaMA-7B + FT (2M) 代表了一個使用全參數(shù)微調(diào)進行訓(xùn)練的模型。所有這些實驗都是在 8 塊 NVIDIA  A100-40GB GPU 上進行的，實驗細(xì)節(jié)請參考我們的論文。

根據(jù)評估，我們的模型在數(shù)學(xué)任務(wù)上表現(xiàn)不佳，得分大多低于 0.5。為了驗證  LoRA  在特定任務(wù)上的適應(yīng)能力，我們使用增量 0.25M 數(shù)學(xué)數(shù)據(jù)集（math_0.25M）來提升模型的數(shù)學(xué)能力，并與增量微調(diào)方法作為對比。從實驗結(jié)果可以看出，增量微調(diào)仍然表現(xiàn)更好，但需要更長的訓(xùn)練時間。LoRA 和增量微調(diào)都提高了模型的整體性能。從論文附錄中的詳細(xì)數(shù)據(jù)可以看出，LoRA 和增量微調(diào)都在數(shù)學(xué)任務(wù)中顯示出顯著的改進，而只會導(dǎo)致其他任務(wù)的輕微性能下降。

總體而言：1) 選擇基礎(chǔ)模型對于 LoRA  調(diào)整的有效性具有顯著影響；2）增加訓(xùn)練數(shù)據(jù)量可以持續(xù)提高 LoRA 模型的有效性；3）LoRA  調(diào)整受益于模型參數(shù)的數(shù)量。對于 LoRA 方案的使用，我們建議可以在已經(jīng)完成了指令學(xué)習(xí)的模型的基礎(chǔ)上針對特定任務(wù)做 loRA 的自適應(yīng)訓(xùn)練。

同樣地，該論文中的相關(guān)模型也會盡快開放在 BELLE 項目中。

持續(xù)完善的訓(xùn)練和評估數(shù)據(jù)

目前 BELLE 已經(jīng)開放的數(shù)據(jù)分為兩部分：最近開放的 10M 中文數(shù)據(jù)集與早前開放的 1.5M 中文數(shù)據(jù)集。

10M 中文數(shù)據(jù)集

包含數(shù)個由 BELLE 項目產(chǎn)生的不同指令類型、不同領(lǐng)域的子集。目前正在逐步整理中，將會逐漸發(fā)布。

• School Math：包含約 25 萬條生成的中文數(shù)學(xué)題數(shù)據(jù)，包含解題過程
• Multiturn Chat：包含約 80 萬條生成的用戶與助手的多輪對話
• Generated Chat：包含約 40 萬條生成的給定角色的多輪對話
• train_2M_CN：包含約 200 萬條生成的多樣化指令任務(wù)數(shù)據(jù)

評估數(shù)據(jù)

如上文所述，評估數(shù)據(jù)的質(zhì)量對評估 LLM 的效果十分關(guān)鍵。BELLE 項目開放的中文評估集包含由 BELLE 項目產(chǎn)生的約 1000 條不同指令類型、不同領(lǐng)域的評估樣例，并試圖兼顧評估集的多樣性與難易度。評估集的數(shù)據(jù)分布見圖 2。

多樣性方面，評估集涵蓋 extract、open qa、closed qa、rewrite、generation、summerization、classification、brainstorming、others 9 種任務(wù)類型，并涵蓋市場銷售、健康飲食、語言文學(xué)、旅行、多種編程語言、環(huán)保、音樂、歷史、廚藝、影視、體育賽事、醫(yī)學(xué)、金融、科技等多個主題。任務(wù)類型分布見圖 2 (a)。

難易度方面，評估集目前盡可能加入了一些難度偏高的樣本，并且平衡評估集與標(biāo)注回復(fù)的平均指令長度分布。

多終端模型推理和聊天應(yīng)用 ChatBELLE

開源社區(qū)中已經(jīng)誕生了如 llama.cpp、GPT4ALL、WebLLM 等 LLM 離線部署加速方案。雖然這些項目已經(jīng)將動輒幾十 GB 的顯存需求和專業(yè) GPU 的算力需求降低至一般的消費電子設(shè)備也可運行，但大多仍然需要一些技能才可部署及體驗。

BELLE 希望進一步拓展大語言模型的使用場景，讓更多用戶即使沒有專業(yè)設(shè)備也能感受到 LLM 帶來的幫助。提供了純離線、跨平臺的 BELLE 聊天應(yīng)用：結(jié)合 4bit 量化后的 ChatBELLE 模型、llama.cpp 和 Flutter 跨平臺 UI，用戶僅需安裝 app、下載模型，即可在各類移動設(shè)備上不需聯(lián)網(wǎng)本地體驗 ChatBELLE 模型。

首先來看看效果：

macOS

在 M1 Max Macbook 上僅使用 CPU 實時運行，無論是加載還是推理都十分迅速：

相信隨著 LLM 端上推理相關(guān)算法和軟硬件技術(shù)的逐步發(fā)展，純離線端上模型的效果將越來越好。BELLE 項目將持續(xù)優(yōu)化 ChatBELLE 模型的性能和 App 功能，努力為更多用戶帶來更優(yōu)質(zhì)更豐富的體驗。

小結(jié)

近兩個月，LLM 開源社區(qū)在基礎(chǔ)模型研究、模型指令微調(diào)、模型應(yīng)用場景等多方面的進展稱得上日新月異、百花齊放。BELLE 項目組對這些進展感到欣喜之余，也希望貢獻(xiàn)自己微薄之力，促進開源 LLM，特別是中文開源 LLM 的發(fā)展。

雖然在大家不懈努力下開源模型在效果方面已經(jīng)取得了長足進步，甚至一些模型在個別方面已經(jīng)與 ChatGPT 甚至 GPT-4 效果比肩，我們?nèi)匀恍枰泵媾c OpenAI 的差距。目前，ChatGPT 的能力之多樣、指令跟隨和泛化能力之強、安全性之高，仍然需要開源社區(qū)腳踏實地地不斷提升來追趕。在全社區(qū)的共同努力下，希望大語言模型將真正屬于每一個人，能夠幫助到每一個人。