研究背景與意義

在當(dāng)前的人工智能研究中，如何提升大型語(yǔ)言模型（LLM）的推理能力是一個(gè)重要的課題。傳統(tǒng)的推理方法往往依賴于明確的推理步驟和形式化的問(wèn)題定義，但這在處理復(fù)雜的自然語(yǔ)言任務(wù)時(shí)顯得力不從心。本文提出了一種名為“Mind Evolution”的進(jìn)化搜索策略，旨在通過(guò)利用語(yǔ)言模型生成、重組和優(yōu)化候選答案，以應(yīng)對(duì)自然語(yǔ)言規(guī)劃任務(wù)中的推理挑戰(zhàn)。研究的意義在于，它不僅提供了一種新的思路來(lái)提升LLM的推理深度，還展示了如何在不依賴于形式化求解器的情況下，利用評(píng)估器進(jìn)行高效的解決方案生成。

研究方法與創(chuàng)新

“Mind Evolution”方法的核心在于結(jié)合自由流動(dòng)的隨機(jī)探索與大規(guī)模的迭代優(yōu)化。具體而言，研究者們采用了基因算法的思想，通過(guò)語(yǔ)言模型生成多樣化的候選解決方案，并利用反饋機(jī)制進(jìn)行逐步優(yōu)化。與現(xiàn)有的推理策略相比，該方法的創(chuàng)新點(diǎn)在于：

1. 進(jìn)化搜索策略：通過(guò)生成多樣化的候選解并進(jìn)行迭代優(yōu)化，Mind Evolution能夠在更廣泛的解空間中尋找解決方案。
2. 全局評(píng)估機(jī)制：與傳統(tǒng)的逐步推理不同，該方法僅依賴于全局解決方案評(píng)估器，從而簡(jiǎn)化了推理過(guò)程。
3. 適應(yīng)性強(qiáng)：該方法能夠處理未形式化的問(wèn)題，尤其適合自然語(yǔ)言規(guī)劃任務(wù)。

通過(guò)對(duì)比實(shí)驗(yàn)，Mind Evolution在多個(gè)基準(zhǔn)測(cè)試中表現(xiàn)出色，成功率顯著高于傳統(tǒng)方法，如Best-of-N和Sequential Revision等。

實(shí)驗(yàn)設(shè)計(jì)與結(jié)果分析

在實(shí)驗(yàn)設(shè)計(jì)上，研究者們選擇了多個(gè)自然語(yǔ)言規(guī)劃任務(wù)，包括“Travel Planner”和“Natural Plan”。通過(guò)對(duì)比Mind Evolution與其他基線方法的表現(xiàn)，結(jié)果顯示：

1. 成功率：Mind Evolution在“Travel Planner”任務(wù)中達(dá)到了95.6%的成功率，而其他方法的成功率普遍較低。
2. 效率：Mind Evolution在計(jì)算成本方面也表現(xiàn)優(yōu)異，生成的候選解數(shù)量和API調(diào)用次數(shù)相對(duì)較少，表明其在資源利用上的高效性。
3. 多場(chǎng)景表現(xiàn)：無(wú)論是在簡(jiǎn)單還是復(fù)雜的任務(wù)背景下，Mind Evolution均展現(xiàn)了良好的適應(yīng)性和穩(wěn)定性。

結(jié)論與展望

本文的研究表明，Mind Evolution為提升LLM的推理能力提供了一種有效的策略。盡管該方法在多個(gè)任務(wù)中表現(xiàn)優(yōu)異，但仍存在一些局限，例如在處理極其復(fù)雜的任務(wù)時(shí)可能需要更多的計(jì)算資源。未來(lái)的研究可以進(jìn)一步探索如何優(yōu)化進(jìn)化策略的參數(shù)設(shè)置，以及如何將該方法應(yīng)用于更廣泛的自然語(yǔ)言處理任務(wù)中?？傊?，Mind Evolution不僅為L(zhǎng)LM的推理深度提供了新的視角，也為相關(guān)領(lǐng)域的研究提供了寶貴的借鑒。

PaSa: An LLM Agent for Comprehensive Academic Paper Search

2025-01-17｜ByteDance, PKU|??18

???http://arxiv.org/abs/2501.10120v1????
????https://huggingface.co/papers/2501.10120????
????https://pasa-agent.ai???

研究背景與意義

在現(xiàn)代學(xué)術(shù)研究中，信息檢索的效率直接影響到研究的進(jìn)展和成果的質(zhì)量。然而，現(xiàn)有的學(xué)術(shù)搜索系統(tǒng)（如Google Scholar）在處理復(fù)雜的學(xué)術(shù)查詢時(shí)，往往無(wú)法滿足研究者的需求。這種局限性促使研究者花費(fèi)大量時(shí)間進(jìn)行文獻(xiàn)綜述，降低了研究效率。因此，開(kāi)發(fā)一種能夠自動(dòng)化、全面且準(zhǔn)確地進(jìn)行學(xué)術(shù)文獻(xiàn)搜索的工具顯得尤為重要。本文提出的PaSa（Paper Search Agent）正是為了解決這一問(wèn)題而設(shè)計(jì)。

PaSa的設(shè)計(jì)目標(biāo)是通過(guò)模擬人類(lèi)研究者的行為，提升學(xué)術(shù)搜索的準(zhǔn)確性和全面性。通過(guò)對(duì)現(xiàn)有文獻(xiàn)檢索工具的分析，本文指出了當(dāng)前系統(tǒng)在處理長(zhǎng)尾特定知識(shí)、細(xì)粒度查詢等方面的不足，并闡明了PaSa在優(yōu)化學(xué)術(shù)搜索中的潛在價(jià)值。

研究方法與創(chuàng)新

PaSa的核心創(chuàng)新在于其采用了兩種LLM（大型語(yǔ)言模型）代理：Crawler和Selector。Crawler負(fù)責(zé)根據(jù)用戶查詢自動(dòng)收集相關(guān)文獻(xiàn)，而Selector則對(duì)收集到的文獻(xiàn)進(jìn)行篩選，以確保其符合用戶的需求。這一設(shè)計(jì)不僅提高了文獻(xiàn)檢索的效率，還增強(qiáng)了結(jié)果的相關(guān)性。

在技術(shù)實(shí)現(xiàn)上，PaSa結(jié)合了強(qiáng)化學(xué)習(xí)（RL）與Proximal Policy Optimization（PPO）算法，針對(duì)文獻(xiàn)搜索任務(wù)的獨(dú)特挑戰(zhàn)進(jìn)行了優(yōu)化。具體而言，PaSa通過(guò)設(shè)計(jì)新的獎(jiǎng)勵(lì)機(jī)制來(lái)應(yīng)對(duì)稀疏獎(jiǎng)勵(lì)和長(zhǎng)軌跡問(wèn)題，從而提升了模型的學(xué)習(xí)效率。此外，PaSa還開(kāi)發(fā)了兩個(gè)高質(zhì)量的數(shù)據(jù)集（AutoScholarQuery和RealScholarQuery），用于訓(xùn)練和評(píng)估其性能。

實(shí)驗(yàn)設(shè)計(jì)與結(jié)果分析

為評(píng)估PaSa的性能，研究者在合成數(shù)據(jù)集AutoScholarQuery和真實(shí)數(shù)據(jù)集RealScholarQuery上進(jìn)行了實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果表明，PaSa在多個(gè)指標(biāo)上顯著優(yōu)于現(xiàn)有的基線模型，如Google Scholar和ChatGPT等。具體而言，PaSa在Recall@20和Recall@50的表現(xiàn)上分別提高了37.78%和39.90%。這些結(jié)果不僅驗(yàn)證了PaSa在學(xué)術(shù)搜索中的有效性，也表明其在真實(shí)場(chǎng)景中的應(yīng)用潛力。

實(shí)驗(yàn)過(guò)程中還對(duì)Crawler和Selector的性能進(jìn)行了詳細(xì)分析，結(jié)果顯示，Crawler的回調(diào)率在PaSa-7b模型中達(dá)到了79.31%，而Selector的F1得分也達(dá)到了85%。這表明，PaSa的設(shè)計(jì)有效地提升了文獻(xiàn)檢索的準(zhǔn)確性和可靠性。

結(jié)論與展望

本文介紹了PaSa，一個(gè)旨在提高學(xué)術(shù)文獻(xiàn)搜索效率和準(zhǔn)確性的先進(jìn)工具。通過(guò)結(jié)合強(qiáng)化學(xué)習(xí)和多種創(chuàng)新技術(shù)，PaSa在復(fù)雜學(xué)術(shù)查詢的處理上展現(xiàn)了優(yōu)越的性能。未來(lái)，研究者計(jì)劃進(jìn)一步優(yōu)化PaSa的算法，并擴(kuò)展其應(yīng)用范圍，以滿足更廣泛的學(xué)術(shù)需求。此外，隨著數(shù)據(jù)集的不斷豐富和算法的迭代，PaSa有望在學(xué)術(shù)研究中發(fā)揮更大的作用，幫助研究者更高效地獲取和利用知識(shí)。

Multiple Choice Questions: Reasoning Makes Large Language Models (LLMs) More Self-Confident Even When They Are Wrong

2025-01-16｜NUAA, UPM, UC3M, Somos NLP|??12

???http://arxiv.org/abs/2501.09775v1????
????https://huggingface.co/papers/2501.09775???

研究背景與意義

在當(dāng)今的人工智能領(lǐng)域，評(píng)估大型語(yǔ)言模型（LLMs）的能力成為了一個(gè)重要的研究方向。傳統(tǒng)的評(píng)估方法往往依賴于多項(xiàng)選擇題（MCQ）測(cè)試，這種方法雖然可以在大規(guī)模上進(jìn)行知識(shí)測(cè)試，但卻無(wú)法有效反映模型在回答問(wèn)題時(shí)的自信程度。本文的研究旨在探討當(dāng)LLM在回答問(wèn)題時(shí)，是否會(huì)因?yàn)橄忍峁┩评磉^(guò)程而增強(qiáng)其自信心。通過(guò)對(duì)比直接回答與提供推理的兩種方式，研究發(fā)現(xiàn)LLM在提供推理時(shí)更具自信，無(wú)論其最終選擇的答案是否正確。這一發(fā)現(xiàn)不僅對(duì)理解LLM的工作機(jī)制有重要意義，也為后續(xù)的評(píng)估方法提供了新的視角。

研究方法與創(chuàng)新

本文采用了兩種不同的提示方式來(lái)測(cè)試LLM的自信心：一種是直接回答問(wèn)題，另一種是先提供推理過(guò)程再給出答案。通過(guò)對(duì)比這兩種方法在多個(gè)模型上的表現(xiàn)，研究發(fā)現(xiàn)，LLM在進(jìn)行推理后，其對(duì)選擇答案的自信度顯著提高。這種現(xiàn)象在所有測(cè)試的模型中均有體現(xiàn)，且推理過(guò)程的影響在需要更多邏輯推理的問(wèn)題上更加明顯。此外，研究還探討了這種自信心的變化是否與答案的正確性相關(guān)，結(jié)果顯示，即使在錯(cuò)誤答案的情況下，推理過(guò)程也能提高模型的自信度，這與人類(lèi)在回答時(shí)的行為模式相似。

實(shí)驗(yàn)設(shè)計(jì)與結(jié)果分析

在實(shí)驗(yàn)設(shè)計(jì)中，研究者使用了Massive Multitask Language Understanding（MMLU）基準(zhǔn)，涵蓋了57個(gè)類(lèi)別和超過(guò)15,000個(gè)問(wèn)題。通過(guò)對(duì)比不同提示下的模型表現(xiàn)，研究者發(fā)現(xiàn)，當(dāng)LLM在推理后選擇答案時(shí)，其對(duì)所選答案的自信度普遍提高。具體而言，錯(cuò)誤答案的自信度提升幅度甚至超過(guò)了正確答案的自信度。這一結(jié)果表明，推理過(guò)程不僅影響了模型的選擇，還可能導(dǎo)致模型在某些情況下產(chǎn)生更高的錯(cuò)誤自信。這與人類(lèi)在面對(duì)復(fù)雜問(wèn)題時(shí)的反應(yīng)模式具有一定的相似性，提示我們?cè)谠O(shè)計(jì)評(píng)估工具時(shí)需要考慮這一點(diǎn)。

結(jié)論與展望

本文的研究表明，LLM在回答多項(xiàng)選擇題時(shí)，其自信心受到推理過(guò)程的顯著影響。無(wú)論答案的正確性如何，推理過(guò)程都能提高模型的自信度。這一發(fā)現(xiàn)為評(píng)估LLM的能力提供了新的思路，尤其是在考慮自信度作為評(píng)估指標(biāo)時(shí)。未來(lái)的研究可以進(jìn)一步探討不同類(lèi)型問(wèn)題對(duì)自信心的影響，以及如何優(yōu)化LLM的推理過(guò)程以提高其在復(fù)雜任務(wù)中的表現(xiàn)。此外，理解LLM的自信機(jī)制也可能為人類(lèi)認(rèn)知科學(xué)提供新的啟示，值得深入研究。

本文轉(zhuǎn)載自 ??AI研究前瞻??，作者： 胡耀淇