現(xiàn)在市面上的大模型越來越多，選擇多了也可能成為一種幸福的煩惱。

如何選擇一個好模型？

在機器學習中，通常會使用一些評估指標來選擇模型，例如，用精度、召回率、F1等指標來評估一個分類模型的性能；使用IOU，AUC等指標評估目標檢測和分割模型的性能。

同理，大模型也有評估指標。

質量：大模型的指令跟隨以及推理能力，例如，通用推理能力，或者具有某一方面的編碼、數(shù)學推理能力。

性能：大模型的反應速度和記憶能力，例如，每秒輸入、輸出token數(shù)、上下文長度。

價格：大模型API調用計費，例如，每1M tokens多少刀。

我們當然希望能有一個模型各項指標都第一，但這是不現(xiàn)實的，就像分布式系統(tǒng)中CAP三個屬性最多只能同時滿足兩個一樣，大模型的評估指標之間，通常也存在相互制約關系，

例如，如果提升了上下文長度，那必然會導致反應延遲以及更多計算存儲資源的消耗。

例如，如果想讓其具備某一領域的特長，就可能會損失一定的通用推理能力。

例如，如果通過增加模型參數(shù)來增強模型推理能力，那么推理成本就會增加，就會上調API調用價格。

所以，在實踐中，最常見的做法將所有大模型都擺到明面上，通過量化指標展示各自優(yōu)缺點，然后讓用戶結合自己的需求來進行選擇。

今天給大家介紹一個大模型統(tǒng)計網站。

??https://artificialanalysis.ai/??

它通過可視化方法將市面上常見的大模型的性能指標進行了量化分析、統(tǒng)籌比較。

例如，昨天OpenAI進行了產品升級，GPT3.5成為歷史，取而代之的是GPT-4o mini，官方數(shù)據(jù)顯示GPT-4o mini具有超快的響應速度，同時兼顧推理能力和極低的API調用成本。

接下來，通過該網站的統(tǒng)計數(shù)據(jù)看看是不是這么回事。

通過數(shù)據(jù)可見，其推理速度第一，API計費僅次于開源的llama 3，更重要的是并沒有因此犧牲太多的推理能力。

如果想兼顧模型質量、推理速度和價格，就要將所有模型放到同一個坐標系下，坐標系下橫軸是推理速度，縱軸是模型質量，點的大小代表價格。最理想的當然是靠近右上角且小點的模型。

兼顧模型質量、上下文長度和價格。

兼顧推理速度和價格，越靠近左上角的模型質量越好。

不同大小輸入token下的輸出速度對比。

該網站還對不同組織旗下的大模型進行了匯總。

除了大語言模型，該網站還包括文本轉語音、語音轉文本、文生圖等大模型的統(tǒng)計數(shù)據(jù)。

本文轉載自公眾號人工智能大講堂 

原文鏈接：???https://mp.weixin.qq.com/s/ELDZEIKDekfe-FETbqNP3w???