隨著生成式人工智能技術(shù)的快速發(fā)展，確保大模型與人類價(jià)值（意圖）對(duì)齊（Alignment）已經(jīng)成為行業(yè)的重要挑戰(zhàn)。

雖然模型的對(duì)齊至關(guān)重要，但目前的評(píng)估方法往往存在局限性，這也讓開發(fā)者往往困惑：大模型對(duì)齊程度如何？這不僅制約了對(duì)齊技術(shù)的進(jìn)一步發(fā)展，也引發(fā)了公眾對(duì)技術(shù)可靠性的擔(dān)憂。

為此，上海交通大學(xué)生成式人工智能實(shí)驗(yàn)室迅速響應(yīng)，推出了一款全新的價(jià)值對(duì)齊評(píng)估工具：Auto-J，旨在為行業(yè)和公眾提供更加透明、準(zhǔn)確的模型價(jià)值對(duì)齊評(píng)估。

• 論文地址：https://arxiv.org/abs/2310.05470
• 項(xiàng)目地址：https://gair-nlp.github.io/auto-j/
• 代碼地址：https://github.com/GAIR-NLP/auto-j

目前，該項(xiàng)目開源了大量資源，包括：

• Auto-J 的 130 億參數(shù)模型（使用方法，訓(xùn)練和測(cè)試數(shù)據(jù)也已經(jīng)在 GitHub 上給出）；
• 所涉及問(wèn)詢場(chǎng)景的定義文件；
• 每個(gè)場(chǎng)景手工構(gòu)建的參考評(píng)估準(zhǔn)則；
• 能夠自動(dòng)識(shí)別用戶問(wèn)詢所屬場(chǎng)景的分類器等。

該評(píng)估器有如下優(yōu)勢(shì)：

1. 功能使用方面

• 支持 50 + 種不同的真實(shí)場(chǎng)景的用戶問(wèn)詢（query）（如常見的廣告創(chuàng)作，起草郵件，作文潤(rùn)色，代碼生成等）能夠評(píng)估各類大模型在廣泛場(chǎng)景下的對(duì)齊表現(xiàn)；
• 它能夠無(wú)縫切換兩種最常見的評(píng)估范式 —— 成對(duì)回復(fù)比較和單回復(fù)評(píng)估；并且可以 “一器多用”，既可以做對(duì)齊評(píng)估也可以做 “獎(jiǎng)勵(lì)函數(shù)”（Reward Model) 對(duì)模型性能進(jìn)一步優(yōu)化；
• 同時(shí)，它也能夠輸出詳細(xì)，結(jié)構(gòu)化且易讀的自然語(yǔ)言評(píng)論來(lái)支持其評(píng)估結(jié)果，使其更具可解釋性與可靠性，并且便于開發(fā)者參與評(píng)估過(guò)程，迅速發(fā)現(xiàn)價(jià)值對(duì)齊過(guò)程中存在的問(wèn)題。

2. 性能開銷方面

• 在性能和效率上，Auto-J 的評(píng)估效果僅次于 GPT-4 而顯著優(yōu)于包括 ChatGPT 在內(nèi)的眾多開源或閉源模型，并且在高效的 vllm 推理框架下能每分鐘評(píng)估超過(guò) 100 個(gè)樣本。
• 在開銷上，由于其僅包含 130 億參數(shù)，Auto-J 能直接在 32G 的 V100 上進(jìn)行推理，而經(jīng)過(guò)量化壓縮更是將能在如 3090 這樣的消費(fèi)級(jí)顯卡上部署使用，從而極大降低了 LLM 的評(píng)估成本 （目前主流的解決方法是利用閉源大模型（如 GPT-4）進(jìn)行評(píng)估，但這種通過(guò)調(diào)用 API 的評(píng)估方式則需要消耗大量的時(shí)間和金錢成本。）

成對(duì)回復(fù)比較的排行榜結(jié)果

評(píng)論生成任務(wù)的排行榜結(jié)果

示例

注：本節(jié)提供的示例已由原始英文文本翻譯為中文

下圖例 1 為成對(duì)回復(fù)比較，紅色字體高亮了顯著區(qū)分兩條回復(fù)的內(nèi)容，并且用綠色字體高亮了 Auto-J 給出的評(píng)判中與用戶偏好對(duì)齊的部分。

下圖例 2 為單回復(fù)評(píng)估，綠色字體高亮了 Auto-J 給出的評(píng)判中切中要點(diǎn)的部分。

具體方法

訓(xùn)練數(shù)據(jù)總體上遵循如下的流程示意圖：

圖1：訓(xùn)練數(shù)據(jù)收集流程示意圖

場(chǎng)景的定義和參考評(píng)估標(biāo)準(zhǔn)：

圖 2：場(chǎng)景定義與參考評(píng)估標(biāo)準(zhǔn)

為了更廣泛的支持不同的評(píng)估場(chǎng)景，Auto-J 定義了 58 種不同的場(chǎng)景，分屬于 8 大類（摘要，重寫，代碼，創(chuàng)作，考題，一般交流，功能性寫作以及其他 NLP 任務(wù)）。

對(duì)于每個(gè)場(chǎng)景，研究者手動(dòng)編寫了一套用作參考的評(píng)估標(biāo)準(zhǔn)（criteria），覆蓋了這類場(chǎng)景下常見的評(píng)估角度，其中每條標(biāo)準(zhǔn)包含了名稱和文本描述。評(píng)估標(biāo)準(zhǔn)的構(gòu)建遵循一個(gè)兩層的樹狀結(jié)構(gòu)：先定義了若干組通用基礎(chǔ)標(biāo)準(zhǔn)（如文本與代碼的一般標(biāo)準(zhǔn)），而每個(gè)場(chǎng)景的具體標(biāo)準(zhǔn)則繼承了一個(gè)或多個(gè)基礎(chǔ)標(biāo)準(zhǔn)，并額外添加了更多的定制化標(biāo)準(zhǔn)。以上圖的 “規(guī)劃”（planning）場(chǎng)景為例，針對(duì)這一場(chǎng)景的標(biāo)準(zhǔn)包括了該場(chǎng)景特定的內(nèi)容與格式標(biāo)準(zhǔn)，以及繼承而來(lái)的基礎(chǔ)標(biāo)準(zhǔn)。

收集來(lái)自多種場(chǎng)景的用戶問(wèn)詢和不同模型的回復(fù)：

Auto-J 被定位成能夠在定義的多種廣泛場(chǎng)景上均表現(xiàn)良好，因此一個(gè)重要的部分就是收集不同場(chǎng)景下相應(yīng)的數(shù)據(jù)。為此，研究者手動(dòng)標(biāo)注了一定量用戶問(wèn)詢的場(chǎng)景類別，并以此訓(xùn)練了一個(gè)分類器用以識(shí)別任意問(wèn)詢的所屬場(chǎng)景。在該分類器的幫助下，成功從包含了大量真實(shí)用戶問(wèn)詢和不同的模型回復(fù)的若干數(shù)據(jù)集中（如 Chatbot Arena Conversations 數(shù)據(jù)集）通過(guò)降采樣的方式篩選出了類別更加均衡的 3436 個(gè)成對(duì)樣本和 960 個(gè)單回復(fù)樣本作為訓(xùn)練數(shù)據(jù)的輸入部分，其中成對(duì)樣本包含了一個(gè)問(wèn)詢，兩個(gè)不同的針對(duì)該問(wèn)詢的回復(fù)，以及人類標(biāo)注的偏好標(biāo)簽（哪個(gè)回復(fù)更好或平局）；而單回復(fù)樣本則只包含了一個(gè)問(wèn)詢和一個(gè)回復(fù)。

收集高質(zhì)量的評(píng)判（judgment）：

除了問(wèn)詢和回復(fù)，更重要是收集作為訓(xùn)練數(shù)據(jù)輸出部分的高質(zhì)量評(píng)估文本，即 “評(píng)判”（judgment）。研究者定義一條完整的評(píng)判包含了中間的推理過(guò)程和最后的評(píng)估結(jié)果。對(duì)于成對(duì)回復(fù)比較而言，其中間推理過(guò)程為識(shí)別并對(duì)比兩條回復(fù)之間的關(guān)鍵不同之處，評(píng)估結(jié)果是選出兩條回復(fù)中更好的一個(gè)（或平局）；而對(duì)于單回復(fù)樣本，其中間推理過(guò)程是針對(duì)其不足之處的評(píng)論（critique），評(píng)估結(jié)果則是一個(gè) 1-10 的總體打分。

在具體操作上，選擇調(diào)用 GPT-4 來(lái)生成需要的評(píng)判。對(duì)于每個(gè)樣本，都會(huì)將其對(duì)應(yīng)場(chǎng)景的評(píng)估標(biāo)準(zhǔn)傳入 GPT-4 中作為生成評(píng)判時(shí)的參考；此外，這里還觀察到在部分樣本上場(chǎng)景評(píng)估標(biāo)準(zhǔn)的加入會(huì)限制 GPT-4 發(fā)現(xiàn)回復(fù)中特殊的不足之處，因此研究者還額外要求其在給定的評(píng)估標(biāo)準(zhǔn)之外盡可能地發(fā)掘其他的關(guān)鍵因素。最終，會(huì)將來(lái)自上述兩方面的輸出進(jìn)行融合與重新排版，得到更加全面、具體且易讀的評(píng)判，作為訓(xùn)練數(shù)據(jù)的輸出部分，其中對(duì)于成對(duì)回復(fù)比較數(shù)據(jù)，進(jìn)一步根據(jù)已有的人類偏好標(biāo)注進(jìn)行了篩選。

訓(xùn)練：

研究者將來(lái)自兩種評(píng)估范式的數(shù)據(jù)合并使用以訓(xùn)練模型，這使得 Auto-J 僅通過(guò)設(shè)置相應(yīng)的提示詞模板即可無(wú)縫切換不同的評(píng)估范式。另外，還采用了一種類似于上下文蒸餾的（context distillation）技術(shù)，在構(gòu)建訓(xùn)練序列時(shí)刪去了 GPT-4 用以參考的場(chǎng)景評(píng)估標(biāo)準(zhǔn)，僅保留了輸出端的監(jiān)督信號(hào)。在實(shí)踐中發(fā)現(xiàn)這能夠有效增強(qiáng) Auto-J 的泛化性，避免其輸出的評(píng)判僅限制在對(duì)評(píng)估標(biāo)準(zhǔn)的同義重復(fù)上而忽略回復(fù)中具體的細(xì)節(jié)。同時(shí)，對(duì)于成對(duì)回復(fù)比較數(shù)據(jù)部分，還采用了一個(gè)簡(jiǎn)單的數(shù)據(jù)增強(qiáng)方式，即交換兩個(gè)回復(fù)在輸入中出現(xiàn)的順序，并對(duì)輸出的評(píng)判文本進(jìn)行相應(yīng)的重寫，以盡可能消除模型在評(píng)估時(shí)的位置偏好。

實(shí)驗(yàn)和結(jié)果

針對(duì) Auto-J 所支持的多個(gè)功能，分別構(gòu)建了不同的測(cè)試基準(zhǔn)以驗(yàn)證其有效性：

在成對(duì)回復(fù)比較任務(wù)上，評(píng)估指標(biāo)為與人類偏好標(biāo)簽的一致性，以及在交換輸入中兩個(gè)回復(fù)的順序前后模型預(yù)測(cè)結(jié)果的一致性。可以看到 Auto-J 在兩個(gè)指標(biāo)上均顯著超過(guò)了選取的基線模型，僅次于 GPT-4。

表 1 & 圖 3：成對(duì)回復(fù)比較任務(wù)的結(jié)果

在單回復(fù)評(píng)論生成任務(wù)上，將 Auto-J 生成的評(píng)論與其他模型的評(píng)論進(jìn)行了一對(duì)一比較，可以看到不管是基于 GPT-4 的自動(dòng)比較還是人類給出的判決，Auto-J 所生成的評(píng)論都顯著優(yōu)于大部分基線，且略微優(yōu)于 GPT-4。

圖 4：Auto-J 在單回復(fù)評(píng)論生成任務(wù)上相比基線的勝率

研究者還探索了 Auto-J 作為獎(jiǎng)勵(lì)模型（Reward Model）的潛力。在常用的檢測(cè)獎(jiǎng)勵(lì)模型有效性的 Best-of-N 設(shè)定下（即基座模型生成多個(gè)候選答案，獎(jiǎng)勵(lì)模型根據(jù)自身輸出選擇最佳回復(fù)），Auto-J 給出的單回復(fù)打分比各類基線模型能選出更好的回復(fù)（以 GPT-4 評(píng)分為參考）。同時(shí)，其打分也顯示了與 GPT-4 打分更高的相關(guān)性。

表 2：不同模型作為獎(jiǎng)勵(lì)模型的表現(xiàn)

最后，開發(fā)者也探究了 Auto-J 在系統(tǒng)級(jí)別的評(píng)估表現(xiàn)。對(duì) AlpacaEval（一個(gè)流行的基于GPT-4評(píng)估的大模型排行榜）上提交的開源模型使用 Auto-J 的單樣本打分進(jìn)行了重新排序。可以看到，基于 Auto-J 的排序結(jié)果與 GPT-4 的排序結(jié)果有極高的相關(guān)性。

圖 5 & 表 3：Auto-J 與 GPT-4 對(duì) AlpacaEval 排行榜提交的開源模型排序之間的相關(guān)性及具體排名數(shù)據(jù)

總結(jié)和展望

總結(jié)來(lái)說(shuō)，GAIR 研究組開發(fā)了一個(gè)具有 130 億參數(shù)的生成式評(píng)價(jià)模型 Auto-J，用于評(píng)估各類模型在解決不同場(chǎng)景用戶問(wèn)詢下的表現(xiàn)，并旨在解決在普適性、靈活性和可解釋性方面的挑戰(zhàn)。實(shí)驗(yàn)證明其性能顯著優(yōu)于諸多開源與閉源模型。此外，也公開了模型之外的其他資源，如模型的訓(xùn)練和多個(gè)測(cè)試基準(zhǔn)中所使用的數(shù)據(jù)，在構(gòu)建數(shù)據(jù)過(guò)程中得到的場(chǎng)景定義文件和參考評(píng)估標(biāo)準(zhǔn)，以及用以識(shí)別各類用戶問(wèn)詢所屬場(chǎng)景的分類器。