大家好，我是橙哥！今天我們來盤點(diǎn)一下主流AI大模型各方面性能的最新排名，分別從質(zhì)量、速度、價格、對話能力、推理能力、編碼、響應(yīng)時間等能力來進(jìn)行對比。

一、對話能力

Chatbot Arena是一個基于眾包的大型模型評測基準(zhǔn)。它為開發(fā)者和研究者提供了一個平臺，在這里可以發(fā)布、測試和比較各種類型的聊天機(jī)器人，下面是根據(jù)Chatbot Arena的榜單排名。我們可以看出前三名是：GPT-4o、Claude 3.5 Sonnet、Gemini 1.5 Pro。

二、推理能力

MMLU（大規(guī)模多任務(wù)語言理解）是一項綜合評估，MMLU 涵蓋基礎(chǔ)數(shù)學(xué)、美國歷史、計算機(jī)科學(xué)和法律等 57 項任務(wù)。它需要模型來展示廣泛的知識基礎(chǔ)和解決問題的能力，下面是AI大模型根據(jù)MMLU的最新排名。我們可以看出前三名是GPT-4o、Claude 3.5 Sonnet、Claude 3 Opus。

三、編程能力

HumanEval是一個用于評估代碼生成模型性能的數(shù)據(jù)集，包含164個編程問題，每個問題都包括一個函數(shù)簽名、文檔字符串（docstring）、函數(shù)體以及幾個單元測試。這些問題涵蓋了語言理解、推理、算法和簡單數(shù)學(xué)等方面。下面是根據(jù)HumanEval排名的最新榜單。前三名是：Claude 3.5 Sonnet、GPT-4o、GPT-4。

四、上下文窗口

上下文窗口指的是輸入和輸出標(biāo)記的最大組合數(shù)量。當(dāng)涉及到 RAG（檢索增強(qiáng)生成）和大模型的工作流時，更大的上下文窗口變得非常重要，這些工作流通常需要對大量數(shù)據(jù)進(jìn)行推理和信息檢索。我們可以看到前三名是：Gemini 1.5 Pro、Claude 3.5 Sonnet、Claude 3 Opus。

五、輸入輸出的價格

每百萬tokens的美元價格，排名越靠前越便宜。在這里我們可以看到國內(nèi)的DeepSeek大模型價格最低，價格最高的是GPT-4。

六、輸出速度

模型生成token時每秒輸出的token數(shù)量。 在這里我們可以看到輸出速度最快的是Llama 3（8B），輸出最慢的是DeepSeek-Coder-V2。

七、隨時間變化的輸出速度

我們從圖中可以看出Llama3 Instruct（8B）的輸出速度一直保持較高水平，不過最近有點(diǎn)下降。

八、延遲

延遲的定義為發(fā)送 API 請求后，接收到第一個token所需的時間。在圖中我們可以看到Mistral 7B的延遲最低，Claude 3 Opus的延遲最高。

九、隨時間變化的延遲

從圖中我們可以清晰地看出Claude 3 Opus的延遲一直較高，而Gemini 1.5 Pro的延遲有明顯的改善。其他大模型的延遲都較低。

十、總響應(yīng)時間

總響應(yīng)時間為接收 100 個tokens所需的時間。根據(jù)延遲（接收第一個token的時間）和輸出速度（每秒輸出token數(shù)量）估算得出。從圖中我們可以看出Llama3（8B）的總響應(yīng)時間最短，而DeepSeek-Coder-V2的總響應(yīng)時間最長。

大模型各方面的性能對我們開發(fā)AI產(chǎn)品的應(yīng)用場景至關(guān)重要，對大模型各方面的性能進(jìn)行測評可以幫助我們選擇合適的選擇合適的大模型和API提供商。無論是優(yōu)化質(zhì)量、提升速度、控制成本，還是需要特定的應(yīng)用能力，這些大模型都為我們提供了豐富的選擇。

本文轉(zhuǎn)載自公眾號AIGC開發(fā)者，作者：阿橙AIGC

原文鏈接：??https://mp.weixin.qq.com/s/d0DNuxivD4YZSOSYEufVrA??