繼Meta的LLaMA模型開源后，AI界研究人員就在這個模型基礎上衍生出許多版本。

前段時間，斯坦福發布了Alpaca，是由Meta的LLaMA 7B微調而來，僅用了52k數據，性能可以與GPT-3.5匹敵。

今天，斯坦福學者聯手CMU、UC伯克利等，再次推出一個全新模型——130億參數的Vicuna，俗稱「小羊駝」（駱馬）。

Vicuna是通過在ShareGPT收集的用戶共享對話上對LLaMA進行微調訓練而來，訓練成本近300美元。

研究人員設計了8個問題類別，包括數學、寫作、編碼，對Vicuna-13B與其他四個模型進行了性能測試。

測試過程使用GPT-4作為評判標準，結果顯示Vicuna-13B在超過90%的情況下實現了與ChatGPT和Bard相匹敵的能力。

同時，在在超過90%的情況下勝過了其他模型，如LLaMA和斯坦福的Alpaca。

團隊成員來自加州大學伯克利分校、卡內基梅隆大學、斯坦福大學、加州大學圣地亞哥分校和本·扎耶德人工智能大學。

90%匹敵ChatGPT

研究人員讓斯坦福的Alpaca和Vicuna來了一輪大比拼，分別對基準問題回答進行了演示。

在使用70K用戶共享的ChatGPT對話數據對Vicuna進行微調后，研究發現Vicuna能夠生成比Alpaca更詳細、結構更合理的答案。

問：寫一篇關于最近去夏威夷旅行的有趣的旅游博客文章，強調文化體驗和必看景點。

Alpaca的回答可以說是一個濃縮版，短短幾行就寫完了，沒有按照要求完成任務。它僅是提到了自己寫了一篇博客，并對博客內容做了一個概述。

再來看Vicuna，撰寫了一篇詳細且引人入勝的旅行博客文章，不僅內容有趣，還詳細地介紹了夏威夷的文化體驗和必看景點。

由此，讓GPT-4給打分，Alpaca7分，Vicuna滿分。

那么和ChatGPT對打，Vicuna的表現又如何呢？

兩者雙雙得了9分！

可以看到，這兩個模型提供一次夏威夷之旅的文章不僅引人入勝，而且文筆流暢。

另外，兩個回答中的詳細程度和準確性都很出色，而且兩個模型都有效地傳達了夏威夷之旅的興奮和美麗。

此外，研究人員還將Vicuna與LLaMA，以及谷歌的Bard模型進行了測試，測試結果顯示，LLaMA表現最差（1分），幾乎沒有回應。

Bard回答的準確性和相關性也是比較高，有9分的成績，但是在更具吸引力回答方面，略低于Vicuna。

除了寫作，研究人員在編碼、數學、角色扮演、常識等方面分別對Vicuna模型與其他四個模型的能力進行了對比，總共80道題。

最后，研究人員基于GPT-4的初步評估總結如圖所示。可以看到，Vicuna達到了Bard/ChatGPT的90%以上的能力。

由GPT-4評估的相對響應質量

有趣的是，在這次Vicuna的demo中，團隊還加入了Alpaca和LLaMA的試用，而前者剛被關閉不久。

Demo地址：https://chat.lmsys.org/

模型介紹

ChatGPT橫空出世讓人興奮不已，但OpenAI不Open的事實讓圈內人實在懊惱。

恰恰，Meta的LLaMA模型開源，為許多研究人員動手研發自己的模型提供了選擇。

Vicuna-13B誕生正是受到LLaMA和斯坦福Alpaca項目的啟發。這是一個基于增強數據集和易于使用、可擴展的基礎設施的開源聊天機器人。

該模型的訓練數據來自于ShareGPT收集的用戶分享的對話，然后研究人員通過對LLaMA基本模型進行微調，Vicuna-13B就誕生了。

Vicuna-13B展示了與其他開源模型（如斯坦福Alpaca）相媲美的性能。

研究人員對Vicuna-13B的性能進行了初步評估，并描述了其訓練和服務基礎設施。

同時，這一模型演示demo已經上線，所有研究人員都能參與在線演示互動，以測試這個聊天機器人的能力。

工作流程概述

對于Vicuna-13B訓練流程，具體如下：

首先，研究人員從ChatGPT對話分享網站ShareGPT上，收集了大約70K對話。

接下來，研究人員優化了Alpaca提供的訓練腳本，使模型能夠更好地處理多輪對話和長序列。之后利用PyTorch FSDP在8個A100 GPU上進行了一天的訓練。

在模型的質量評估方面，研究人員創建了80個不同的問題，并用GPT-4對模型輸出進行了評價。

為了比較不同的模型，研究人員將每個模型的輸出組合成一個單獨的提示，然后讓GPT-4評估哪個模型給出的回答更好。

LLaMA、Alpaca、Vicuna和ChatGPT的對比

訓練

Vicuna是通過使用來自ShareGPT公共API收集的約70K用戶分享對話數據微調創建的。

為了確保數據質量，研究人員將HTML轉換回markdown，并過濾掉一些不適當或質量較低的樣本。

另外，研究人員將較長的對話劃分為較小的片段，以適應模型的最大上下文長度。

Vicuna的訓練方法建立在斯坦福的Alpaca基礎上，并進行了以下改進：

• 內存優化：

為了使Vicuna能夠理解長上下文，將最大上下文長度從Alpaca的512擴展到2048，這大大增加了GPU內存需求。在此，研究人員通過使用梯度檢查點和閃存注意力來解決內存壓力。

• 多輪對話：

通過調整訓練損失以考慮多輪對話，并僅在聊天機器人的輸出上計算微調損失。

• 通過Spot實例降低成本：

40倍的數據集和4倍的序列長度對訓練帶來了相當大的挑戰。研究人員采用SkyPilot托管的Spot實例來降低成本，通過利用自動恢復搶占與自動區域切換進而減少成本。

這種解決方案將7B模型的訓練成本從500美元降低到約140美元，將13B模型的訓練成本從約1000美元降低到300美元。

評估

評估AI聊天機器人是一項具有挑戰性的任務，因為它需要檢查語言理解、推理和上下文意識。隨著AI聊天機器人變得越來越先進，現有的開放基準可能不再足夠。

例如，斯坦福Alpaca中使用的評估數據集self-instruct，可以被SOTA聊天機器人有效地回答，這使得人類難以分辨性能差異。更多的限制包括訓練/測試數據污染和創建新基準的潛在高成本。

為了解決這些問題，研究人員提出了一個基于GPT-4的評估框架，從而實現對聊天機器人性能的自動評估。

首先，通過精心設計的提示，讓GPT-4能夠生成多樣化且具有挑戰性的問題。并利用8個不同類別共80道題，如角色扮演、編碼/數學任務等，來測試這些模型（LLaMA、Alpaca、ChatGPT、Bard和Vicuna）在不同領域上表現出的性能。

然后，研究人員要求GPT-4根據幫助程度、相關性、準確性和細節對答案的質量進行評分。結果顯示，GPT-4不僅可以產生相對一致的分數，還可以提供詳細的解釋來說明為什么給出這樣的分數。但是，GPT-4并不擅長評判編碼/數學任務。

由GPT-4評估的響應比較

GPT-4在超過90%的問題中更喜歡Vicuna，而不是現有的SOTA開源模型（LLaMA、Alpaca）。

在45%的問題中，GPT-4認為Vicuna的回答和ChatGPT差不多甚至更好。

綜合來看，Vicuna在總分上達到ChatGPT的92%。

局限

研究人員指出，與其他大語言模型類似，Vicuna也存在著一定的局限性。

比如，Vicuna在涉及編程、推理、數學以及事實準確性的任務上表現不佳。

此外，它也沒有經過充分優化以保證安全性或減輕潛在的毒性或偏見。

為解決安全方面的問題，研究人員在demo中采用了OpenAI的審查API來過濾掉不適當的用戶輸入。

剩下的名字不多了

現在，除了美洲駝（LLaMA），羊駝（Alpaca），駝馬（Vicuna）都安排上了。

研究人員要趕快沖，因為留給你們的名字不多了（1個）。