強化學習先驅、加拿大阿爾伯塔大學CS系教授Rich Sutton曾在2019年寫下一篇名為《The Bitter Lesson》的博文，成為AI領域的經典論述之一。

甚至，Rich Sutton在字里行間體現出的直覺已經頗有Scaling Law的意味。

原文地址：https://www.cs.utexas.edu/~eunsol/courses/data/bitter_lesson.pdf

文章簡要回顧了AI在象棋、圍棋、語音識別和視覺等領域的發展道路，并提出了這樣的觀點：

我們應該吸取的慘痛教訓之一，就是要意識到通用方法的力量。隨著可用算力猛增帶來計算量的增加，這種方法可以持續擴展。似乎能以這種方式進行任意擴展的兩種方法正是搜索（search）和學習（learning）。

然而，這個觀點和Scaling Law并不完全一樣，我們也不能以此為據，認為小型模型注定無關緊要。

正如Sutton所描述的，擴展這條路上我們有兩板斧：學習和搜索。

OpenAI提出的Scaling Law更強調前者。在其他條件不變時，較大的模型表現更好，因為可以從訓練集中學習到更多知識和模式。

但我們往往忽略的是后者。搜索方法也可以在推理階段隨算力增長進行平滑的擴展，以生成更多或者更高質量的候選答案。

斯坦福、牛津、DeepMind等機構的學者最近發表的一篇文章就關注到了這一點。

論文地址：https://arxiv.org/abs/2407.21787

隨著推理階段重復采樣數量的提升，模型在GSM8K、MATH、MiniF2F-Math、SWE-bench Lite等數學、推理、代碼領域的性能（即問題覆蓋率）都有顯著提升。

甚至，二者之間似乎存在指數線性關系，并可以用指數冪律建模，似乎能說明推理階段縮放定律的存在。

受到這篇論文的啟發，兩位工程師開始嘗試復現——結果是，用100個小Llama模型進行搜索，即可在Python編程任務中追趕甚至打敗GPT-4o。

兩位作者用了一個形象的比喻：以前，需要一匹馬大小的鴨子才能獲得邊界能力；但現在，我們可以選擇用100只鴨子大小的馬（或者更確切地說，是羊駝Llama）。

實驗所用的源代碼已上傳至GitHub，而且復現成本相當低。

https://gist.github.com/charlesfrye/27f25188dbbcfdf20a83c0230020fe05

為了嘗試較高性能，作者使用了vLLM庫實現批量推理，并將硬件條件擴展到10個A100-40GB GPU，輸出速度達到40k token/s。

評估指標和結果

作者選擇了上述的Large Language Monkeys論文中未涵蓋的基準測試——HumanEval。

這個數據集的好處在于，使用運行測試對生成的代碼進行評估，而不需要LLM-as-Judge或人類評估的參與，能更加客觀地衡量其正確性。

模型的性能通過pass@k和fail@k兩個指標衡量。根據PapersWithCode的報告結果，在零樣本推理時，GPT-4o的pass@1成績為90.2%。

https://paperswithcode.com/sota/code-generation-on-humaneval

使用上述論文提出的方法，加上最少量的prompt微調（未調整其他超參數），Llama 3.1 8B的pass@k分數就有顯著提升。

重復采樣數k為100時，性能與GPT-4o相當（90.5% vs. 90.2%）；k達到1000時，分數為95.1%，明顯優于GPT-4o。

如果使用fail@k指標（相當于1-pass@k），再將上圖中的兩個坐標軸進行對數變換，就可以看到下圖所示的曲線，似乎完美符合「縮放定律」。

值得注意的是，這個小實驗并不是對論文的嚴格復現，僅是提取了其中的核心方法。

然而，這些結果更加強調了，使用搜索方法進行推理階段增強時，較小的模型能以可預測的方式勝過GPT-4o這樣的「巨無霸」模型。

「搜索」的未來

搜索方法之所以強大，正是因為它能隨著計算量的增加進行「透明」的擴展，還可以將資源消耗從內存轉移至計算，實現進一步的資源平衡。

最近AI在數學方面的重大成果，比如DeepMind的AlphaProof和AlphaGeometry取得了IMO銀牌的水平，以及得到驗證的「忙碌海貍」問題，都離不開其中使用的搜索。

然而，搜索的實現首先需要對結果進行高質量的評估。DeepMind的模型將自然語言表述的數學問題翻譯為形式化表述，從而得到Lean這種編譯器/驗證器的詳細監督。

陶哲軒也曾在采訪中不斷強調，「形式化」對AI在數學領域的應用十分重要，可以使并行程度和自動化程度大大提高。

根據Curry-Howard-Lambek對應關系，對數學證明和代碼生成結果而言，使用計算機程序進行自動化識別和評估會相對容易。

但類似的方法可能會在數學和編程以外的領域失效。比如，對于「總結電子郵件」這類開放式的NLP任務，就很難進行有效的搜索。

從這個角度來看，搜索是評估的下游。我們可以粗略地預期，生成模型在特定領域中的性能提升，將和評估、搜索能力成正比。

為達到這個目的，可重復數字環境中的agent似乎是一個有前景的方向。