OpenAI將在兩周內(nèi)發(fā)布“草莓”模型，推理模式非常特殊！
Theinformation消息，OpenAI將在未來兩周內(nèi)發(fā)布最新模型“草莓”（ Strawberry） ，會為ChatGPT等產(chǎn)品提供技術(shù)支持。
據(jù)測試過該模型的人員透露，草莓模型的推理模式非常特殊，可以像人類一樣在提供響應(yīng)之前進(jìn)行擬人化思考，用10—20秒的時間進(jìn)行信息搜索、評估，更高效的利用現(xiàn)有AI算力提供更準(zhǔn)確的內(nèi)容。
其實(shí)，草莓的這種特殊的推理模式，谷歌DeepMind就專門出過一篇論文進(jìn)行過類似的技術(shù)介紹。
目前，多數(shù)大模型的性能受限于其預(yù)訓(xùn)練階段所獲取的數(shù)據(jù)集，以及推理過程中的算力資源。研究人員發(fā)現(xiàn)，可以通過更多的推理時間、自適應(yīng)（就是草莓的特殊延遲推理）來提升模型的性能，這種技術(shù)稱為——測試時計算（Test-time computation）。
根據(jù)提示的難度不同，優(yōu)化方法主要有兩種：一種是基于密集型、流程導(dǎo)向的驗(yàn)證獎勵模型進(jìn)行搜索；另一種是在給定提示下，自適應(yīng)地更新模型對響應(yīng)的概率分布。
密集型、流程導(dǎo)向的驗(yàn)證獎勵模型搜索主要通過引入一個能夠評估模型生成答案步驟正確性的過程導(dǎo)向的驗(yàn)證獎勵模型（PRM），來指導(dǎo)搜索過程。
這意味著，模型不僅需要生成最終的答案，還需要生成一個能夠證明答案正確性的步驟序列。通過這種方式，驗(yàn)證模型可以針對每一步驟給出反饋，從而引導(dǎo)模型在生成過程中不斷修正自己的路徑找到最優(yōu)解。
這種方法很適用于那些需要多步推理和驗(yàn)證的任務(wù)，例如，數(shù)學(xué)問題解決或者是邏輯推理題。在推理的過程中，模型會不斷地評估不同的解決方案，并選擇那些能夠獲得更高獎勵分?jǐn)?shù)的路徑繼續(xù)探索下去，直到找到最有可能正確的答案為止。
第二種自適應(yīng)更新模型對響應(yīng)的概率分布，則是在生成回答時，可以根據(jù)先前生成的內(nèi)容來動態(tài)調(diào)整后續(xù)生成的內(nèi)容。
例如，當(dāng)模型接收到一個提示后，它并不會立即給出最終的回答，而是會先生成一系列可能的響應(yīng)選項。然后，模型會根據(jù)這些選項的質(zhì)量以及它們與原始提示的相關(guān)性來更新自己的概率分布，這樣在下一輪生成時，模型就會傾向于選擇那些更正確的選項。
通過多次迭代，模型能夠逐漸優(yōu)化其生成的回答，直到達(dá)到一個滿意的程度。這種方法非常適合用于那些初始提示本身可能包含模糊信息的情況，或者當(dāng)模型首次嘗試生成的回答并不完全準(zhǔn)確時，通過不斷的修訂來提高最終輸出的質(zhì)量。
這兩種優(yōu)化機(jī)制的使用，在很大程度上取決于問題本身的性質(zhì)以及所使用的基線大模型的特點(diǎn)。例如，在處理相對簡單的問題時，如果基礎(chǔ)模型已經(jīng)有足夠的能力生成合理的初步答案，那么允許模型通過預(yù)測一系列的修訂來迭代地改進(jìn)其初始答案，可能會比同時生成多個獨(dú)立的答案更為有效。
相反，對于那些需要考慮多種高級解決方案的問題，或者當(dāng)模型面臨的是特別困難的任務(wù)時，采用平行重新采樣新答案或運(yùn)用樹狀搜索配合過程導(dǎo)向的獎勵模型，可能是更高效的方法。
所以，為了更高效的使用這兩種優(yōu)化方法，研究人員提出了“計算最優(yōu)”的策略，可以根據(jù)每個提示的具體情況來選擇最適合的測試時計算方法，從而最有效地利用額外的計算資源。
這種方法使得測試時計算的效率提高了超過4倍，相比于傳統(tǒng)的最佳N選一的基線策略表現(xiàn)更為出色。
本文轉(zhuǎn)自 AIGC開放社區(qū) ，作者： AIGC開放社區(qū)
