大模型火了起來，每天我們都能看到各種「大」新聞。

圖片

今天，又來了個(gè) Big News：新開源的一個(gè)大模型超越了 ChatGPT。

具體是什么呢？

OpenLLM 是一系列在極小、多樣且高質(zhì)量的多輪對(duì)話數(shù)據(jù)集上進(jìn)行微調(diào)的開源語(yǔ)言模型。

這兩日，作者們更新了該系列模型，并宣稱：OpenChat 模型在 AlpacaEval 上獲得 80.9% 的勝率；在 Vicuna GPT-4 評(píng)估上，性能達(dá)到 ChatGPT 的 105%。

圖片

也就是上面推特截圖中，兩位博主宣稱的開源模型超越 ChatGPT/GPT-3.5。

OpenLLM 的特色是基于 LLaMA 開源模型，在只有 6,000 個(gè) GPT4 對(duì)話的數(shù)據(jù)集上進(jìn)行微調(diào)，從而達(dá)到非常好的效果。

此次更新的模型型號(hào)與評(píng)審結(jié)果如下：

• OpenChat：基于 LLaMA-13B，上下文長(zhǎng)度為 2048。
• 在Vicuna GPT-4 評(píng)估中達(dá)到 ChatGPT 分?jǐn)?shù)的 105.7% 。
• 在 AlpacaEval 上達(dá)到 80.9% 的勝率。
  
• OpenChat-8192：基于 LLaMA-13B，擴(kuò)展上下文長(zhǎng)度為 8192。
• 在 Vicuna GPT-4 評(píng)估中達(dá)到 ChatGPT 分?jǐn)?shù)的 106.6% 。
• 在 AlpacaEval 上實(shí)現(xiàn) 79.5% 的勝率。

也就是說，兩個(gè)模型在 Vicuna GPT-4 評(píng)估榜單上結(jié)果都超越了 ChatGPT。

但這種評(píng)審 + 宣傳的方式似乎并不被大家認(rèn)可。

網(wǎng)友：夸張

在 Twitter 討論中，有網(wǎng)友表明，這就是夸張的說法。

圖片

在此「大」新聞公布后，Vicuna 官方也迅速做出了回應(yīng)。

實(shí)際上，Vicuna 的測(cè)試基準(zhǔn)已被棄用，現(xiàn)在使用的是更高級(jí)的 MT-bench 基準(zhǔn)。該基準(zhǔn)的測(cè)試，有著更加具有挑戰(zhàn)性的任務(wù)，并且解決了 gpt4 評(píng)估中的偏差以及限制。

在 MT-bench 上，OpenChat 性能表現(xiàn)與 wizardlm-13b 相似。也就是說，開源模型與 GPT-3.5 仍然有著一定差距。這也正是 MT-bench 所強(qiáng)調(diào)的內(nèi)容 —— 開源模型不是完美無(wú)缺的，但是這將邁向更好的聊天機(jī)器人評(píng)估。

圖片

圖片

前幾日，機(jī)器之心報(bào)道內(nèi)容《「羊駝」們走到哪一步了？研究表明：最好的能達(dá)到 GPT-4 性能的 68%》，也對(duì)開源模型的性能進(jìn)行了評(píng)估。

評(píng)估還表明，在任何給定的評(píng)估中，最佳模型的平均性能達(dá)到 ChatGPT 的 83%、GPT-4 的 68%，這表明需要進(jìn)一步構(gòu)建更好的基礎(chǔ)模型和指令調(diào)優(yōu)數(shù)據(jù)以縮小差距。

感興趣的讀者可以查看原文。