在當(dāng)今人工智能飛速發(fā)展的時代，大語言模型（LLMs）已經(jīng)成為現(xiàn)代AI應(yīng)用的核心組成部分。從智能助手到代碼生成器，從語言翻譯到內(nèi)容創(chuàng)作，LLMs的應(yīng)用場景無處不在。然而，如何準(zhǔn)確評估這些強(qiáng)大模型的能力，卻一直是一個充滿挑戰(zhàn)的問題。傳統(tǒng)的基準(zhǔn)測試曾是衡量LLM性能的標(biāo)準(zhǔn)，但隨著AI技術(shù)的飛速發(fā)展，人們開始質(zhì)疑這些基準(zhǔn)測試是否還能真實(shí)反映LLM在現(xiàn)實(shí)世界中的表現(xiàn)。本文將深入探討LLM基準(zhǔn)測試的現(xiàn)狀，分析它們是否仍然具有相關(guān)性，并介紹一些廣泛使用的基準(zhǔn)測試及其對LLM的評估方式。

LLM基準(zhǔn)測試：AI模型的“考試”

LLM基準(zhǔn)測試是標(biāo)準(zhǔn)化的評估工具，用于衡量LLMs在特定任務(wù)上的表現(xiàn)。你可以將它們想象成AI模型的“考試”，旨在測試模型的推理能力、語言理解能力、編程能力等多方面的技能。每種基準(zhǔn)測試都有其特定的評估標(biāo)準(zhǔn)，從簡單的準(zhǔn)確率和完全匹配分?jǐn)?shù)到更復(fù)雜的基于模型的參數(shù)。

這些基準(zhǔn)測試的目標(biāo)是量化LLM在處理特定挑戰(zhàn)時的有效性，幫助研究人員和開發(fā)者公平地比較不同模型，并了解它們的優(yōu)勢和局限性。一些流行的LLM基準(zhǔn)測試包括MMLU、GPQA和MATH等。

LLM基準(zhǔn)測試衡量什么？

不同的LLM基準(zhǔn)測試側(cè)重于不同的能力，以下是一些常見的評估內(nèi)容：

推理與常識

這些任務(wù)檢查模型是否能夠運(yùn)用邏輯和日常知識來回答復(fù)雜或微妙的問題。例如，一個模型可能需要根據(jù)給定的背景信息推斷出一個合理的結(jié)論，或者理解一個情境并給出符合常識的答案。

語言理解與問答（QA）

這些測試評估LLM對書面內(nèi)容的理解程度以及其提取或推斷正確答案的能力。這包括對文本的閱讀理解、對問題的準(zhǔn)確回答，以及在給定上下文中正確使用語言的能力。

編程與代碼生成

編程基準(zhǔn)測試檢查模型是否能夠在各種編程語言中編寫、修復(fù)或解釋代碼。這不僅包括生成正確的代碼，還包括對代碼邏輯的理解和調(diào)試能力。

對話能力

一些基準(zhǔn)測試評估模型在對話中的自然度、連貫性以及提供與上下文相關(guān)答案的能力。這涉及到模型在多輪對話中保持話題連貫性和理解用戶意圖的能力。

翻譯技能

這些測試關(guān)注模型將文本從一種語言準(zhǔn)確轉(zhuǎn)換為另一種語言的能力，同時保留其原始含義。這要求模型不僅理解兩種語言，還要能夠準(zhǔn)確地表達(dá)相同的意思。

數(shù)學(xué)推理

從基礎(chǔ)算術(shù)到高級數(shù)學(xué)問題，這些測試評估模型的計(jì)算準(zhǔn)確性和解決問題的方法。這可能包括解決復(fù)雜的數(shù)學(xué)方程、進(jìn)行邏輯推理以及應(yīng)用數(shù)學(xué)概念。

邏輯思維

邏輯導(dǎo)向的基準(zhǔn)測試挑戰(zhàn)模型遵循演繹或歸納推理模式的能力。這要求模型能夠理解邏輯關(guān)系，并根據(jù)給定的前提得出正確的結(jié)論。

標(biāo)準(zhǔn)化考試表現(xiàn)

基于SAT或GRE等標(biāo)準(zhǔn)化考試的基準(zhǔn)測試模擬現(xiàn)實(shí)世界中的教育評估，以評估模型的一般認(rèn)知能力。這些測試通常涵蓋多個學(xué)科領(lǐng)域，評估模型在學(xué)術(shù)環(huán)境中的表現(xiàn)。

開發(fā)者如何選擇合適的基準(zhǔn)測試？

并非所有的LLMs都會在所有基準(zhǔn)測試上進(jìn)行測試，開發(fā)者通常會選擇那些能夠展示其模型優(yōu)勢的基準(zhǔn)測試，并且只公布顯示模型優(yōu)秀的測試結(jié)果。那么，開發(fā)者是如何選擇合適的基準(zhǔn)測試來評估他們的模型的呢？選擇合適的基準(zhǔn)測試取決于以下幾個因素：

任務(wù)對齊

開發(fā)者會選擇能夠反映他們希望模型展示的確切能力的基準(zhǔn)測試。這可能包括文本摘要、編程、輔導(dǎo)或其他他們認(rèn)為模型最擅長的任務(wù)。

領(lǐng)域相關(guān)性

他們確保基準(zhǔn)測試與應(yīng)用領(lǐng)域密切相關(guān)。例如，法律科技模型會接受法律語言理解的測試，而金融科技工具則會接受基于數(shù)學(xué)和推理的基準(zhǔn)測試。

任務(wù)多樣性

大多數(shù)開發(fā)者傾向于選擇更通用或更廣泛的基準(zhǔn)測試，如問答或STEM相關(guān)的測試，以獲得模型在各種挑戰(zhàn)中的整體表現(xiàn)。

評估方法

開發(fā)者會考慮基準(zhǔn)測試是否使用人工評估、完全匹配評分或基于LLM的評估。這很重要，因?yàn)樗鼤绊懡Y(jié)果的解釋。

評估LLM的熱門基準(zhǔn)測試

基準(zhǔn)測試對于評估LLM的優(yōu)勢和劣勢至關(guān)重要。本文將介紹20個最流行的LLM基準(zhǔn)測試，分為四個關(guān)鍵能力領(lǐng)域：通用語言與推理、編程、數(shù)學(xué)與STEM、多模態(tài)與視覺語言。這些基準(zhǔn)測試通常用于研究論文、產(chǎn)品評估和公共排行榜。

通用語言與推理基準(zhǔn)測試

這些基準(zhǔn)測試評估LLM對自然語言、世界知識、邏輯以及跨學(xué)科復(fù)雜推理任務(wù)的掌握程度。

MMLU（大規(guī)模多任務(wù)語言理解）

MMLU旨在評估LLM在廣泛學(xué)科領(lǐng)域的知識和推理能力，涵蓋科學(xué)、技術(shù)、工程、數(shù)學(xué)、人文、社會科學(xué)和商業(yè)等57個科目。它是評估AI模型在多學(xué)科領(lǐng)域中的事實(shí)回憶和問題解決能力的最全面基準(zhǔn)測試之一。

測試方法：測試包括來自不同領(lǐng)域的多項(xiàng)選擇題，模仿現(xiàn)實(shí)世界的考試。基準(zhǔn)測試采用零樣本或少樣本評估方法，即在測試前不對模型進(jìn)行數(shù)據(jù)集的微調(diào)。性能基于準(zhǔn)確率進(jìn)行衡量，即AI在四個選項(xiàng)中選擇正確答案的頻率。

數(shù)據(jù)集：數(shù)據(jù)集來源于現(xiàn)實(shí)世界的學(xué)術(shù)考試和專業(yè)測試，確保問題反映出教育評估中的難度水平。

測試結(jié)果的意義：高M(jìn)MLU分?jǐn)?shù)表明模型具有強(qiáng)大的一般知識和推理能力，適用于輔導(dǎo)、研究協(xié)助以及回答現(xiàn)實(shí)世界中復(fù)雜問題的應(yīng)用。例如，如果模型得分超過85，它可以在多個主題上以專家級推理解決問題。而得分低于30的模型可能在深入的學(xué)科知識和推理方面存在困難，其答案可能不一致或過于簡單。

當(dāng)前最高得分模型：GPT-4 o1（300b），得分87%。

人類最后的考試

人類最后的考試旨在將LLMs推向極限，測試它們解決高度復(fù)雜和新穎問題的能力。與傳統(tǒng)的邏輯推理、事實(shí)回憶或模式識別等特定技能評估的基準(zhǔn)測試不同，這個基準(zhǔn)測試用完全未見的、創(chuàng)造性的或哲學(xué)性問題挑戰(zhàn)模型，這些問題需要深度理解和洞察力。

測試方法：基準(zhǔn)測試包括一系列沒有明確答案的開放式問題。AI模型基于定性指標(biāo)進(jìn)行評估，如連貫性、推理深度和回答的新穎性。可能需要人工評估者對回答進(jìn)行評分，因?yàn)樽詣踊u分方法可能不足以評估。

數(shù)據(jù)集：沒有固定的數(shù)據(jù)集；問題動態(tài)策劃，保持不可預(yù)測性，以評估真正的AI智能而非記憶能力。

測試結(jié)果的意義：在這個基準(zhǔn)測試中表現(xiàn)良好表明AI具有進(jìn)行高級人類類推理的能力，使其適合于研究、哲學(xué)以及需要深度創(chuàng)造力和新穎見解的任務(wù)。例如，如果模型得分在80%或以上，它可以解決需要抽象思維和邏輯的復(fù)雜推理問題。而得分低于40%的模型可能在多步推理方面存在困難，在復(fù)雜問題解決任務(wù)中表現(xiàn)不佳。

當(dāng)前最高得分模型：Gemini 2.5 Pro Exp，得分18.8%（基于公開可用的分?jǐn)?shù)）。

GPQA鉆石

GPQA鉆石是通用問答（GPQA）基準(zhǔn)測試的一個子集，旨在評估AI模型回答高度專業(yè)和困難問題的能力，這些問題只有一個正確答案。

測試方法：模型被給予一個問題，并且必須在一次嘗試中（pass@1）產(chǎn)生一個精確且事實(shí)正確的答案。難度水平遠(yuǎn)高于標(biāo)準(zhǔn)問答數(shù)據(jù)集，專注于技術(shù)、科學(xué)和特定領(lǐng)域的知識。準(zhǔn)確率以首次嘗試正確回答的百分比來衡量。

數(shù)據(jù)集：手工策劃的一系列挑戰(zhàn)性問題，涵蓋多個學(xué)科，包括高級數(shù)學(xué)、法律推理和科學(xué)研究。

測試結(jié)果的意義：高GPQA鉆石分?jǐn)?shù)表明AI模型在復(fù)雜領(lǐng)域中檢索和形成高度準(zhǔn)確答案方面表現(xiàn)出色，使其適合于專家AI助手、法律咨詢和學(xué)術(shù)研究支持。例如，如果模型得分超過85%，它可以精確且深入地處理復(fù)雜的特定領(lǐng)域問題。而得分低于30%的模型可能在特定知識方面存在困難，經(jīng)常提供模糊或錯誤的答案。

當(dāng)前最高得分模型：Gemini 2.5 Pro Exp，得分18.8%。

LLM競技場排行榜

LLM競技場排行榜是一個眾包排名系統(tǒng)，用戶根據(jù)現(xiàn)實(shí)世界中的互動和用例評估LLMs。

測試方法：AI模型接受開放式互動，用戶根據(jù)流暢性、連貫性、事實(shí)準(zhǔn)確性以及回答查詢的整體有效性對它們進(jìn)行評分。

數(shù)據(jù)集：一個動態(tài)的、用戶生成的數(shù)據(jù)集，來自各種應(yīng)用中的現(xiàn)實(shí)世界互動。

測試結(jié)果的意義：在LLM競技場排行榜上排名靠前表明AI模型在實(shí)際應(yīng)用中受到好評，如通用目的協(xié)助、商業(yè)自動化和研究支持。例如，如果模型排名在前3位，它在準(zhǔn)確性、連貫性和推理方面始終優(yōu)于競爭對手。而排名在前20名之外的模型可能在復(fù)雜任務(wù)方面存在顯著弱點(diǎn)，使其在高級應(yīng)用中不夠可靠。

當(dāng)前最高得分模型：Gemini 2.5 Pro Exp，得分1439。

ARC（AI2推理挑戰(zhàn)）

ARC專門設(shè)計(jì)用于評估AI模型的常識推理和邏輯推理能力。 這些問題類似于小學(xué)科學(xué)考試，但結(jié)構(gòu)上旨在挑戰(zhàn)AI應(yīng)用邏輯的能力，而不僅僅是識別模式。

測試方法：測試分為“簡單”和“挑戰(zhàn)”兩部分。“挑戰(zhàn)”部分包含對依賴純統(tǒng)計(jì)相關(guān)性的AI模型來說較難的問題。AI模型根據(jù)多項(xiàng)選擇準(zhǔn)確率進(jìn)行評估，特別強(qiáng)調(diào)其回答需要推理的問題的能力，這些問題是超越表面知識的。

數(shù)據(jù)集：一系列教育考試中的科學(xué)問題，經(jīng)過篩選以強(qiáng)調(diào)推理而非簡單回憶。

測試結(jié)果的意義：高ARC分?jǐn)?shù)表明AI模型具有強(qiáng)大的邏輯推理能力，使其適合于教育輔導(dǎo)、決策支持以及各種應(yīng)用中的自動化推理任務(wù)。例如，如果模型得分在80%或以上，它可以解決需要抽象思維和邏輯的復(fù)雜推理問題。而得分低于40%的模型可能在多步推理方面存在困難，在復(fù)雜問題解決任務(wù)中表現(xiàn)不佳。

TruthfulQA

TruthfulQA評估AI生成事實(shí)準(zhǔn)確回答的能力，同時避免錯誤信息和常見誤解。它特別適用于評估在需要高度信任的應(yīng)用中的AI，如新聞業(yè)和醫(yī)療援助。

測試方法：TruthfulQA在零樣本設(shè)置中評估模型，不允許進(jìn)行調(diào)整。它包括兩個任務(wù)：生成任務(wù)，模型生成1-3句回答；以及多項(xiàng)選擇任務(wù)。此外，測試包括一系列旨在引出常見錯誤信息的回答的問題。

AI模型根據(jù)其回答的真實(shí)性而非僅僅是語言流暢性進(jìn)行評分。每個問題給模型一個0-1之間的分?jǐn)?shù)，其中0代表完全錯誤的答案，1代表完全真實(shí)的答案。在大多數(shù)情況下，將回答真實(shí)問題的百分比作為基準(zhǔn)。

數(shù)據(jù)集：一系列經(jīng)過策劃的事實(shí)核查問題，旨在挑戰(zhàn)AI模型對常見錯誤和偏見的識別。它包含817個問題，涵蓋38個類別，包括健康、法律、金融和政治。

測試結(jié)果的意義：高TruthfulQA分?jǐn)?shù)表明AI模型不太可能生成誤導(dǎo)性或錯誤的信息，使其適合于事實(shí)核查、醫(yī)療保健、教育以及可信AI部署等應(yīng)用。

例如，如果模型平均得分超過0.5，或者75%的回答是誠實(shí)的，這意味著該模型是可信的。換句話說，它證明了該模型通常提供經(jīng)過合理推理且事實(shí)正確的答案，錯誤信息極少。而得分低于0.2，或者少于30%的問題回答誠實(shí)的模型，容易捏造或歪曲事實(shí)。這使得它在對真實(shí)性要求嚴(yán)格的應(yīng)用中不可靠。

編程基準(zhǔn)測試評估LLM

編程基準(zhǔn)測試衡量LLM在多種編程語言中生成、理解和調(diào)試代碼的能力。這些基準(zhǔn)測試對于協(xié)助開發(fā)人員或自主編寫代碼的工具至關(guān)重要。

HumanEval

HumanEval旨在評估LLM根據(jù)問題描述生成功能性Python代碼的能力。它評估AI的編程能力、邏輯推理能力以及編寫正確解決方案的能力。

測試方法：模型被給予描述要實(shí)現(xiàn)的函數(shù)的提示。通過單元測試驗(yàn)證生成代碼的正確性，將模型的輸出與預(yù)期結(jié)果進(jìn)行比較。評估指標(biāo)是pass@k，衡量模型在k次嘗試內(nèi)產(chǎn)生正確解決方案的概率。

數(shù)據(jù)集：由OpenAI創(chuàng)建，HumanEval包含164個Python編程問題，涵蓋各種編程概念和挑戰(zhàn)。

測試結(jié)果的意義：高HumanEval分?jǐn)?shù)表明AI模型擅長編程，能夠生成功能性、語法正確的Python代碼，適用于軟件開發(fā)和AI輔助編程任務(wù)。例如，如果模型得分超過85%，它可以可靠地編寫工作代碼，解決算法問題，并協(xié)助開發(fā)人員處理復(fù)雜的編程任務(wù)。而得分低于40%的模型可能生成錯誤或低效的代碼，使其在現(xiàn)實(shí)世界的編程需求中不可靠。

當(dāng)前最高得分模型：Claude 3.5 Sonnet，得分100。

SWE-bench Verified

SWE-bench（軟件工程基準(zhǔn)測試）Verified旨在評估AI模型理解、調(diào)試和改進(jìn)軟件代碼的能力。

測試方法：AI模型在真實(shí)世界的軟件開發(fā)任務(wù)中接受測試，包括錯誤修復(fù)、重構(gòu)和功能實(shí)現(xiàn)。解決方案必須通過各種驗(yàn)證檢查以確認(rèn)正確性。模型根據(jù)其產(chǎn)生完全功能且經(jīng)過驗(yàn)證的解決方案的能力進(jìn)行評估。

數(shù)據(jù)集：基于真實(shí)世界軟件倉庫的一系列編程挑戰(zhàn)，包括開源項(xiàng)目和企業(yè)級代碼庫。

測試結(jié)果的意義：高SWE-bench Verified分?jǐn)?shù)表明AI模型在軟件工程方面能力很強(qiáng)，使其在自動化代碼生成、調(diào)試和AI輔助編程方面具有價值。例如，如果模型得分在80%或以上，它可以準(zhǔn)確地修復(fù)復(fù)雜的錯誤并重構(gòu)代碼。而得分低于40%的模型可能在處理真實(shí)世界的軟件問題方面存在困難，并產(chǎn)生不可靠的修復(fù)。

Aider Polyglot

Aider Polyglot旨在評估AI在多種編程語言中生成和理解代碼的能力。它評估模型在不同語言之間切換的能力、理解跨語言語法差異的能力以及生成正確和高效代碼的能力。重點(diǎn)是AI在各種編程范式中的適應(yīng)性以及在不同環(huán)境中生成慣用代碼的能力。

測試方法：AI模型被給予不同語言的編程任務(wù)。評估重點(diǎn)是語法正確性、執(zhí)行準(zhǔn)確性和效率。AI還被測試其處理跨語言推理的能力，例如在保持功能性和效率的同時將代碼從一種語言轉(zhuǎn)換為另一種語言。

數(shù)據(jù)集：該基準(zhǔn)測試使用來自真實(shí)場景、編程競賽挑戰(zhàn)和開源倉庫的編程問題數(shù)據(jù)集。這些任務(wù)涉及多種語言，包括Python、JavaScript、C++和Java。

測試結(jié)果的意義：高分表明AI模型擅長多語言編碼任務(wù)，使其對于在多種技術(shù)棧中工作的開發(fā)人員、代碼翻譯以及各種語言中的調(diào)試任務(wù)具有價值。例如，如果模型得分超過85%，它可以無縫地協(xié)助多種語言，如Python、Java和C++。而得分低于40%的模型可能在不同編程語言之間的語法和上下文方面存在困難。

當(dāng)前最高得分模型：Gemini 2.5 Pro Exp，得分74%。

LiveCodeBench v5

LiveCodeBench v5測試AI在現(xiàn)實(shí)世界約束下生成實(shí)時、可執(zhí)行代碼的能力。與靜態(tài)編碼測試不同，它側(cè)重于AI在交互式環(huán)境中解決編碼問題的能力，結(jié)合運(yùn)行時反饋和迭代調(diào)試。

測試方法：AI被要求交互式地解決編碼問題。它根據(jù)其初始代碼的準(zhǔn)確性、處理運(yùn)行時錯誤的能力以及效率進(jìn)行評估。模型的適應(yīng)性也受到測試，因?yàn)樗仨毟鶕?jù)實(shí)時反饋和變化的測試用例調(diào)整解決方案。

數(shù)據(jù)集：數(shù)據(jù)集包括來自編程競賽、真實(shí)世界開發(fā)場景和開源倉庫的交互式編碼問題和調(diào)試任務(wù)。

測試結(jié)果的意義：高分表明AI在實(shí)時編碼方面表現(xiàn)出色，使其適用于AI驅(qū)動的代碼補(bǔ)全、調(diào)試協(xié)助和交互式編程環(huán)境，這對于提高開發(fā)人員的生產(chǎn)力至關(guān)重要。例如，如果模型得分在90%以上，它可以處理動態(tài)編碼挑戰(zhàn)、調(diào)試和自動補(bǔ)全，具有很高的準(zhǔn)確性。而得分低于40%的模型可能在保持編碼上下文方面存在困難，并且可能頻繁生成錯誤。

當(dāng)前最高得分模型：Kimi-k1.6-IOI-high，代碼生成得分73.8。

MBPP（大多是基礎(chǔ)編程問題）

MBPP評估LLM使用自然語言指令解決初學(xué)者到中級編程任務(wù)的能力。它適用于測試模型的核心算法理解和基本編碼技能。

測試方法：模型被給予簡短的問題描述，并被要求生成解決描述問題的Python代碼。每個問題都包含一個簡短的自然語言提示，描述任務(wù)，模型被期望生成解決它的Python代碼。

生成的代碼會自動評估其功能正確性、語法有效性和與問題描述的邏輯一致性。這通常是在少樣本設(shè)置中進(jìn)行的，模型在嘗試新問題之前會看到一些已解決的示例。零樣本和微調(diào)評估也很常見。

數(shù)據(jù)集：MBPP包含974個問題，來源于教育和編程競賽平臺。任務(wù)包括對字符串、列表和字典的操作，以及數(shù)學(xué)、條件語句、遞歸和簡單的文件處理。所有問題都可以在10行以內(nèi)的Python代碼中解決，并且每個問題都附帶3個單元測試。

測試結(jié)果的意義：高M(jìn)BPP分?jǐn)?shù)反映了模型按照清晰指令生成功能性代碼的能力。

例如，得分超過80的模型可以處理編碼教程并協(xié)助初學(xué)者程序員。這種模型非常適合代碼輔導(dǎo)、自動補(bǔ)全工具和初學(xué)者級別的開發(fā)支持。而得分低于30的模型可能生成有錯誤或語法無效的代碼。

當(dāng)前最高得分模型：由Claude 3.5-Sonnet驅(qū)動的QualityFlow，準(zhǔn)確度為94.2。

MTPB（多輪編程基準(zhǔn)測試）

MTPB評估AI模型在代碼生成中進(jìn)行多輪對話的能力。它模擬了真實(shí)世界中的軟件開發(fā)場景，開發(fā)人員根據(jù)反饋、調(diào)試輸出和不斷演變的指令來完善代碼。它測試上下文記憶、跟進(jìn)和多輪對話中的問題解決能力。這些技能對于用于代碼配對編程或作為副駕駛的LLMs至關(guān)重要。

測試方法：每個任務(wù)從用戶查詢開始，描述編碼目標(biāo)。模型提出解決方案，隨后模擬用戶（或測試腳本）提供反饋，可能指出錯誤、要求添加功能或提出更改。這個循環(huán)會持續(xù)3到5輪。

最終輸出會針對一組功能要求和單元測試進(jìn)行測試。評估考慮最終代碼的正確性、模型整合細(xì)微反饋的能力以及對話過程中的穩(wěn)定性和連貫性。它還會考察模型達(dá)到工作解決方案所需的 交互次數(shù)。

數(shù)據(jù)集：MTPB數(shù)據(jù)集包含115個真實(shí)的軟件工程問題。這包括用戶反饋循環(huán)、代碼重構(gòu)任務(wù)和增量功能實(shí)現(xiàn)。反饋信息被設(shè)計(jì)為模糊和明確的，模仿開發(fā)人員在真實(shí)場景中收到的指令。

測試結(jié)果的意義：高M(jìn)TPB分?jǐn)?shù)表明模型能夠在多輪對話中跟蹤上下文，而不會丟失上下文或引入回歸。這意味著該模型適合于迭代代碼審查、配對編程和輔導(dǎo)等任務(wù)。

例如，如果模型得分超過85%，它可以迭代改進(jìn)代碼，理解測試用例，并提供有用的調(diào)試建議。而得分低于40%的模型可能在多步編程任務(wù)中存在困難，并產(chǎn)生不完整或錯誤的解決方案。

數(shù)學(xué)與STEM基準(zhǔn)測試評估LLM

這一類別側(cè)重于數(shù)值能力和結(jié)構(gòu)化推理，包括純數(shù)學(xué)以及與科學(xué)相關(guān)的解決問題能力。這些基準(zhǔn)測試評估模型按步驟推理和解釋定量數(shù)據(jù)的能力。

GSM8K

GSM8K是一個小學(xué)水平的數(shù)學(xué)應(yīng)用題數(shù)據(jù)集，旨在評估LLM在算術(shù)和基礎(chǔ)代數(shù)推理方面的能力。這些問題需要多步計(jì)算、邏輯推理以及對基本數(shù)學(xué)原理的理解。

測試方法：模型被呈現(xiàn)數(shù)學(xué)應(yīng)用題，并被要求生成逐步解決方案。評估基于最終答案是否與正確答案匹配。此外，中間推理步驟也會被評估，以衡量邏輯連貫性和解決問題的深度。

數(shù)據(jù)集：GSM8K包含1319個高質(zhì)量的小學(xué)水平問題。這些問題由人類專家手動編寫，確保多樣性和現(xiàn)實(shí)的數(shù)學(xué)挑戰(zhàn)。

測試結(jié)果的意義：高GSM8K分?jǐn)?shù)表明模型具有強(qiáng)大的算術(shù)和基礎(chǔ)代數(shù)推理能力。它表明模型能夠協(xié)助基礎(chǔ)教育、自動化輔導(dǎo)和基本金融計(jì)算。

例如，如果模型得分超過80%，它可以可靠地解決非平凡的代數(shù)、幾何和數(shù)論問題。而得分低于30%的模型可能在復(fù)雜的多步推理中失敗，并且在精確性方面存在困難。

當(dāng)前最高得分模型：Claude 3.5 Sonnet（HPT），得分97.72。

MATH基準(zhǔn)測試

MATH基準(zhǔn)測試評估AI模型解決高級、高中水平數(shù)學(xué)問題的能力，需要深入的邏輯推理、符號操作和多步問題解決技能。

測試方法：測試包括來自代數(shù)、幾何、微積分和數(shù)論的問題。AI模型必須生成完整的逐步解決方案，而不僅僅是最終答案。評估過程檢查中間步驟的正確性和邏輯合理性。

數(shù)據(jù)集：數(shù)據(jù)集包含12500個問題，來源于真實(shí)的數(shù)學(xué)競賽和高中課程挑戰(zhàn)。

測試結(jié)果的意義：高M(jìn)ATH基準(zhǔn)測試分?jǐn)?shù)表明AI模型在技術(shù)領(lǐng)域表現(xiàn)出色，如STEM輔導(dǎo)、研究，甚至協(xié)助數(shù)學(xué)證明和計(jì)算建模。

例如，如果模型得分在70%或以上，它可以可靠地解決具有挑戰(zhàn)性的代數(shù)、微積分和幾何問題。而得分低于30%的模型可能在多步數(shù)學(xué)推理中失敗，并且在抽象問題解決方面存在困難。

AIME 2025（pass@1）

AIME（人工智能數(shù)學(xué)評估）2025是一個旨在評估AI模型解決高級數(shù)學(xué)問題的能力的基準(zhǔn)測試。它包括受著名數(shù)學(xué)競賽啟發(fā)的問題。

測試方法：在這個測試中，模型必須在第一次嘗試（pass@1）時提供正確的答案，沒有重試的機(jī)會。問題包括代數(shù)、組合數(shù)學(xué)、數(shù)論和幾何。模型性能根據(jù)產(chǎn)生正確最終答案的準(zhǔn)確性進(jìn)行評估。

數(shù)據(jù)集：問題來源于高級數(shù)學(xué)競賽和大學(xué)水平的習(xí)題集。

測試結(jié)果的意義：高AIME 2025分?jǐn)?shù)表明模型具有強(qiáng)大的數(shù)學(xué)推理能力，使其適合于協(xié)助研究、STEM教育和科學(xué)計(jì)算。例如，如果模型得分超過80%，它可以可靠地解決非平凡的代數(shù)、幾何和數(shù)論問題。而得分低于30%的模型可能在復(fù)雜的多步推理中失敗，并且在精確性方面存在困難。

當(dāng)前最高得分模型：Grok 3（Beta）擴(kuò)展思考，得分93.3%，這是該基準(zhǔn)測試的最高分。

ScienceQA

ScienceQA是一個多模態(tài)數(shù)據(jù)集，評估AI模型使用文本和視覺信息進(jìn)行推理的能力，特別是針對科學(xué)相關(guān)主題。

測試方法：數(shù)據(jù)集包括基于科學(xué)的多項(xiàng)選擇題，AI模型必須在分析文本和圖表后再生成正確答案。

數(shù)據(jù)集：一個包含21000個多模態(tài)問題的集合，涵蓋物理、化學(xué)和生物，來源于教育材料。

測試結(jié)果的意義：高ScienceQA分?jǐn)?shù)表明模型在AI輔助教育、輔導(dǎo)平臺和科學(xué)文檔分析方面表現(xiàn)出色。例如，如果模型得分超過85%，它可以深入解釋科學(xué)概念，使其適用于教育和研究。而得分低于40%的模型可能誤解數(shù)據(jù)，并且在科學(xué)推理方面存在困難。

MGSM（多語言小學(xué)數(shù)學(xué)）

MGSM測試模型在多種語言中進(jìn)行小學(xué)水平數(shù)學(xué)推理的能力。它評估多語言理解和邏輯問題解決的交叉點(diǎn)，幫助確定LLM是否能夠在不同語言之間泛化數(shù)學(xué)能力。

測試方法：基準(zhǔn)測試涉及解決涉及算術(shù)、邏輯和基礎(chǔ)代數(shù)的數(shù)學(xué)應(yīng)用題。每個問題被翻譯成10多種語言，包括西班牙語、印地語、法語、中文和阿拉伯語。模型必須準(zhǔn)確理解給定語言中的問題，進(jìn)行正確的計(jì)算或推理，并返回正確的數(shù)值或文本答案。評估基于完全匹配準(zhǔn)確性和推理的正確性（如果展示）。

數(shù)據(jù)集：基于GSM8K數(shù)據(jù)集構(gòu)建，MGSM使用8500多個小學(xué)數(shù)學(xué)問題，手動翻譯以保留意圖和措辭。數(shù)據(jù)集引入了語言復(fù)雜性，如習(xí)語、句子結(jié)構(gòu)變化和數(shù)字-單詞格式。

測試結(jié)果的意義：高M(jìn)GSM分?jǐn)?shù)表明模型能夠彌合語言和推理之間的差距。這對于構(gòu)建包容性的、多語言的AI教育和輔導(dǎo)系統(tǒng)至關(guān)重要。

例如，得分超過80%的模型可以有效地用母語教授數(shù)學(xué)或回答問題。而得分低于40%的模型則揭示出語言理解方面的差距或推理方面的斷裂。

多模態(tài)與視覺語言基準(zhǔn)測試評估LLM

多模態(tài)基準(zhǔn)測試評估模型解釋和推理文本和視覺數(shù)據(jù)的能力。這對于圖像描述、文檔理解和視覺問答等應(yīng)用至關(guān)重要。

MMMU（大規(guī)模多模態(tài)多任務(wù)理解）

MMMU評估AI模型處理和推理文本、圖像和圖表等多種模態(tài)數(shù)據(jù)的能力，對于多模態(tài)AI應(yīng)用至關(guān)重要。

測試方法：模型在需要同時解釋文本和視覺輸入的任務(wù)上接受測試。這些包括回答有關(guān)圖像的問題、推理圖表以及從多媒體數(shù)據(jù)中提取見解。

數(shù)據(jù)集：一系列經(jīng)過策劃的圖像-文本對，涵蓋科學(xué)圖表、圖表、醫(yī)學(xué)圖像和日常場景。

測試結(jié)果的意義：高M(jìn)MMU分?jǐn)?shù)表明AI模型在自動化文檔分析、AI輔助醫(yī)學(xué)成像和智能數(shù)據(jù)可視化等領(lǐng)域表現(xiàn)出色。例如，如果模型得分超過80%，它可以準(zhǔn)確處理和響應(yīng)復(fù)雜的多模態(tài)查詢。而得分低于40%的模型可能在跨模態(tài)推理方面存在困難，并且產(chǎn)生不一致的結(jié)果。

VQAv2（視覺問答）

VQAv2測試AI模型解釋圖像并回答相應(yīng)文本問題的能力。它廣泛用于評估AI在視覺語言理解方面的表現(xiàn)。

測試方法：AI模型被提供圖像和自然語言問題。根據(jù)生成的答案是否與人工標(biāo)注的正確答案匹配來衡量準(zhǔn)確性。

數(shù)據(jù)集：數(shù)據(jù)集包含265000個圖像-問題-答案三元組，確保在各個領(lǐng)域進(jìn)行穩(wěn)健的評估。

測試結(jié)果的意義：高VQAv2分?jǐn)?shù)表明模型在無障礙應(yīng)用、自動化圖像描述和AI驅(qū)動的內(nèi)容審核方面具有強(qiáng)大的能力。例如，如果模型得分超過80%，它可以以高準(zhǔn)確性理解和描述復(fù)雜圖像。而得分低于40%的模型可能誤解圖像，在上下文理解方面存在困難，并且提供不正確或模糊的答案。

BFCL（伯克利函數(shù)調(diào)用排行榜）

BFCL測試模型理解API文檔并執(zhí)行函數(shù)調(diào)用任務(wù)的能力。它模擬了AI助手將自然語言翻譯成結(jié)構(gòu)化API調(diào)用的場景。這是基于LLM的代理與外部工具和環(huán)境交互的關(guān)鍵技能。

測試方法：測試呈現(xiàn)自然語言指令（例如，“查看明天中午巴黎的天氣”）和一系列可用函數(shù)定義及其輸入?yún)?shù)。模型必須返回與用戶意圖匹配的正確格式的函數(shù)調(diào)用。

評估檢查模型是否能找到與預(yù)期函數(shù)簽名完全匹配的內(nèi)容，正確映射參數(shù)和值，并正確使用數(shù)據(jù)類型和約束。參數(shù)不匹配、幻覺函數(shù)或參數(shù)解釋錯誤等錯誤會導(dǎo)致分?jǐn)?shù)降低。

數(shù)據(jù)集：數(shù)據(jù)集包括數(shù)千個真實(shí)世界的API場景，如天氣查詢、日歷安排和搜索任務(wù)。每個提示都配有清晰的規(guī)范和參數(shù)，與結(jié)構(gòu)化的JSON樣式的函數(shù)模式配對。

測試結(jié)果的意義：高BFCL分?jǐn)?shù)表明模型能夠正確解釋結(jié)構(gòu)化輸入，遵循約束，并進(jìn)行精確的函數(shù)調(diào)用。這對于與插件或API等工具集成的LLMs至關(guān)重要。

如果模型在這個基準(zhǔn)測試中得分超過90%，這表明它具有強(qiáng)大的工具使用能力。而得分低于50%的模型可能在參數(shù)處理方面表現(xiàn)不佳，并且容易出現(xiàn)幻覺行為。

排行榜基準(zhǔn)測試與官方基準(zhǔn)測試

LLMs在受控環(huán)境中 進(jìn)行測試，外部偏見或額外的人工干預(yù)不會影響結(jié)果。這適用于大多數(shù)官方基準(zhǔn)測試，如MMLU和HumanEval，它們評估特定能力。然而，像LLM Arena和Hugging Face Open LLM Leaderboard這樣的真實(shí)世界排行榜依賴于用戶反饋和眾包評估。因此，后者提供了對LLM有效性的更動態(tài)的評估。

官方基準(zhǔn)測試提供了標(biāo)準(zhǔn)化的評估指標(biāo)，但它們往往不能反映真實(shí)世界的表現(xiàn)。基于排行榜的評估，如LMSys或Hugging Face上的評估，捕捉到實(shí)時用戶反饋，使其成為衡量LLM可用性的更實(shí)用的指標(biāo)。

官方基準(zhǔn)測試允許進(jìn)行可重復(fù)的測試，而基于排行榜的基準(zhǔn)測試則根據(jù)用戶互動進(jìn)行調(diào)整。排行榜能夠捕捉到靜態(tài)測試可能遺漏的新興優(yōu)勢和弱點(diǎn)。行業(yè)專家越來越傾向于排行榜，因?yàn)樗鼈兏m用于真實(shí)世界的應(yīng)用。像LMSys、Hugging Face和Open LLM Leaderboard這樣的平臺提供了動態(tài)的真實(shí)世界評估。這些平臺上的社區(qū)驅(qū)動反饋展示了LLMs隨時間的演變，超出了固定基準(zhǔn)測試的一次性測試。此外，大多數(shù)標(biāo)準(zhǔn)基準(zhǔn)測試只發(fā)布最終結(jié)果，這引發(fā)了關(guān)于其真實(shí)性的質(zhì)疑，尤其是當(dāng)高分模型在現(xiàn)實(shí)世界中表現(xiàn)不佳時。在這種情況下，開源基準(zhǔn)測試鼓勵合作和透明度，從而導(dǎo)致更穩(wěn)健的LLM評估。

本文轉(zhuǎn)載自公眾號Halo咯咯    作者：基咯咯

原文鏈接：??https://mp.weixin.qq.com/s/uCzwPw3n6Adi5eXkkCGdpg??