大模型學(xué)習(xí)不僅要正確知識(shí)，還需要一個(gè)“錯(cuò)題本”？

上海AI Lab提出了一種新的學(xué)習(xí)方式，構(gòu)建了“錯(cuò)誤-反思-修正”數(shù)據(jù)，讓大模型仿照人類的學(xué)習(xí)模式，從錯(cuò)誤中學(xué)習(xí)、反思。

結(jié)果，在Llama3-8B上，數(shù)學(xué)題的解題準(zhǔn)確率平均提升了13.3%。

圖片

這種方法名為LEMMA（Learning from Errors for Mathematical Advancement），專門教大模型如何從錯(cuò)誤中學(xué)習(xí)。

作者通過深入分析模型犯下的錯(cuò)誤，構(gòu)建了“錯(cuò)誤-糾正”數(shù)據(jù)集，并利用反思機(jī)制，引導(dǎo)模型從錯(cuò)誤的思路平滑過渡到正確的答案。

結(jié)果，模型不僅獲得了準(zhǔn)確率的提升，還獲得了超強(qiáng)的自主糾錯(cuò)能力和泛化能力。

相關(guān)論文已發(fā)表于ACL’25 Findings。

圖片

用教師模型生成“錯(cuò)題本”

作者首先系統(tǒng)分析了當(dāng)前主流大模型在數(shù)學(xué)題中常見的七大類錯(cuò)誤（如題意誤解、公式混淆、計(jì)算失誤等），發(fā)現(xiàn)這些錯(cuò)誤在不同模型之間分布非常一致。

結(jié)果顯示，大模型犯下最多的錯(cuò)誤是誤解題意，占比超過40%，隨后的兩張常見錯(cuò)誤類型是公式混淆和計(jì)算錯(cuò)誤。

圖片

了解了模型都會(huì)犯哪些錯(cuò)誤，接下來就可以有針對(duì)性地生成數(shù)據(jù)了。

過去，整個(gè)過程往往通過提高采樣Temperature（如T=1.0或T=1.1）來完成。

但作者發(fā)現(xiàn)高Temperature采樣會(huì)引入大量無意義的（如語義不通、毫無邏輯）錯(cuò)誤，這種錯(cuò)誤實(shí)際上是模型不會(huì)犯的。

作者認(rèn)為，這種“已讀亂回”式的錯(cuò)誤，難以讓模型真正提升自我糾錯(cuò)能力。

圖片

為此，LEMMA采用了新的方法，讓教師模型定向制造“學(xué)生會(huì)犯的錯(cuò)”，構(gòu)造“反思式”數(shù)據(jù)：

具體來說，LEMMA提出了一種全新的反思數(shù)據(jù)構(gòu)造策略，主要包括三個(gè)環(huán)節(jié)：

• 首先，分析學(xué)生模型常犯哪些錯(cuò)（如題意誤解、公式誤用、計(jì)算失誤）；
• 然后讓強(qiáng)大的教師模型（GPT-4o），根據(jù)學(xué)生模型在每個(gè)問題上的錯(cuò)誤類型，有針對(duì)性地故意引入特定錯(cuò)誤；
• 之后，教師模型還會(huì)標(biāo)出第一個(gè)錯(cuò)誤發(fā)生的步驟，并生成反思和改正，確保模型學(xué)會(huì)“及時(shí)反思”。

在反思和改正階段：LEMMA采用了兩種更貼近人類思維的糾錯(cuò)方式——一是返回上一步，二是直接推倒重來。

引入第二種修正方式的原因在于，作者發(fā)現(xiàn)大模型在有的題目上出錯(cuò)的根本原因，是一開始就選擇了低效的暴力解法，這樣即使修正了某個(gè)中間的錯(cuò)誤步驟，也會(huì)在后續(xù)的推理中犯錯(cuò)，不如從頭開始選擇更“聰明”的解法。

總的來說，LEMMA構(gòu)建的是“有目標(biāo)、有指導(dǎo)、有反饋”的錯(cuò)誤數(shù)據(jù)，讓模型能像學(xué)生一樣反思：“我錯(cuò)在哪？應(yīng)該怎么改？”

圖片

實(shí)驗(yàn)結(jié)果

對(duì)比多種主流反思修正方法，優(yōu)勢(shì)明顯。

作者對(duì)比了包括RefAug、RFT，ISC、S3C-Math在內(nèi)的八種主流baseline方法。

結(jié)果表明，LEMMA在常見的數(shù)學(xué)任務(wù)上正確率更高，在Llama3-8B上準(zhǔn)確率提升了最高達(dá)13.3%。

圖片

并且，LEMMA有效提升了模型的反思和自我修正能力。

在MathChat任務(wù)中，LEMMA在“追問回答”和“錯(cuò)誤修正”兩大任務(wù)上領(lǐng)先SOTA方法（Dart-MATH）多達(dá)6.3和4.1個(gè)百分點(diǎn)。

圖片

同時(shí)，LEMMA也顯著減少了模型的常見錯(cuò)誤。

在生成的數(shù)據(jù)上進(jìn)行微調(diào)之后，LEMMA一致地降低了各種錯(cuò)誤類型，提升模型推理精度。

相比之下，SFT雖然整體準(zhǔn)確率提升，但卻在某些錯(cuò)誤類型（如公式混淆）上反而變差。

圖片

另外，作者進(jìn)行的消融實(shí)驗(yàn)也充分驗(yàn)證了“教師模型錯(cuò)誤引入（Error Aug.)”和“從頭修正（Fresh & Restart）”兩個(gè)關(guān)鍵模塊的有效性。

圖片

總之，LEMMA提出了一種讓大模型在數(shù)學(xué)推理中“從錯(cuò)誤中有效學(xué)習(xí)”的創(chuàng)新方法，提升了模型對(duì)推理錯(cuò)誤的識(shí)別與修復(fù)能力。

相比以往依賴高Temperature采樣和簡單拼接的反思數(shù)據(jù)合成方式，LEMMA 顯著提高了“錯(cuò)誤-反思-修正”數(shù)據(jù)的質(zhì)量，提升了模型的數(shù)學(xué)推理能力。

論文地址：
https://arxiv.org/abs/2503.17439
代碼倉庫：
https://github.com/pzs19/LEMMA