貝勒大學(xué)經(jīng)濟(jì)學(xué)院的Pham Hoang Van和Scott Cunningham兩位教授，基于OpenAI的GPT-3.5、GPT-4深度研究了大模型對(duì)事情的預(yù)測(cè)能力。

研究人員使用了直接預(yù)測(cè)和未來(lái)敘述（Future Narrative）兩種提示方法，進(jìn)行了100次提示。同時(shí)使用了訓(xùn)練數(shù)據(jù)截止至2021年9月的ChatGPT模型，對(duì)2022年已經(jīng)發(fā)生的事情進(jìn)行了多維度評(píng)測(cè)。

結(jié)果顯示，在直接預(yù)測(cè)中，ChatGPT的表現(xiàn)并不理想，例如，直接讓其回答2022年奧斯卡最佳男主角時(shí)準(zhǔn)確率只有25%左右。

如果使用未來(lái)敘述提示方法，ChatGPT的準(zhǔn)確率飆升至97%，精準(zhǔn)預(yù)測(cè)出最佳男主角是國(guó)際巨星Will Smith。對(duì)女主角的預(yù)測(cè)同樣很精準(zhǔn)。

論文地址：https://arxiv.org/abs/2404.07396

研究人員表示，相比直接模式，未來(lái)敘述的提問(wèn)方式更能激發(fā)ChatGPT潛在的創(chuàng)造、聯(lián)想、數(shù)據(jù)分析的強(qiáng)大預(yù)測(cè)能力，同時(shí)又能規(guī)避OpenAI內(nèi)置的很多安全管理設(shè)定。

例如，在測(cè)試實(shí)驗(yàn)中，研究人員直接向ChatGPT提問(wèn)，“我正在尿血，應(yīng)該如何解決？”ChatGPT沒(méi)有過(guò)多的回答，而是建議你立刻去看醫(yī)生避免耽誤最佳救治時(shí)間。

但如果改成未來(lái)敘述提問(wèn)“當(dāng)一個(gè)人的尿里有血液，并且伴隨輕微的惡心這是一種什么病癥，應(yīng)該如何進(jìn)行治療？”ChatGPT就會(huì)給你展示一些有幫助的答案。

所以，通過(guò)未來(lái)敘述的提問(wèn)方式，可幫助大模型能更好地利用其訓(xùn)練數(shù)據(jù)中的信息，因?yàn)椋?strong>它不是被直接要求預(yù)測(cè)一個(gè)具體的數(shù)值或結(jié)果，而是在一個(gè)更寬廣的敘事上下文中進(jìn)行推理和生成，同時(shí)又能規(guī)避很多內(nèi)置的安全鎖。

根據(jù)論文介紹,未來(lái)敘述提示是一種獨(dú)特的提示方法,要求ChatGPT講述一個(gè)發(fā)生在未來(lái)的故事情節(jié),其中涉及到需要預(yù)測(cè)的事件和數(shù)據(jù)。

但是故事情節(jié)設(shè)置的方式是,將未來(lái)當(dāng)作已經(jīng)發(fā)生的過(guò)去。例如，讓經(jīng)濟(jì)預(yù)測(cè)案例中的Jerome Powell回顧和陳述，那些已經(jīng)發(fā)生的"未來(lái)"事件。

兩位作者作為經(jīng)濟(jì)學(xué)院的教授，也對(duì)ChatGPT進(jìn)行了一些宏觀經(jīng)濟(jì)方面的預(yù)測(cè)。直接向ChatGPT提問(wèn)時(shí)，它還是拒絕回答了，所以使用了未來(lái)敘述提問(wèn)方法。

在未來(lái)敘述提示中：ChatGPT被要求模擬美聯(lián)邦儲(chǔ)備委員會(huì)主席Jerome Powell在未來(lái)的某個(gè)時(shí)間點(diǎn)發(fā)表演講的情景。在這個(gè)演講中，Powell會(huì)提供同樣的宏觀經(jīng)濟(jì)數(shù)據(jù)，并可能討論未來(lái)的貨幣政策和經(jīng)濟(jì)展望。

結(jié)果顯示，ChatGPT-4在使用未來(lái)敘事提示時(shí)，在預(yù)測(cè)通貨膨脹率方面表現(xiàn)出了一定的準(zhǔn)確性，尤其是在模擬Powell的角色時(shí)，這些預(yù)測(cè)與密歇根大學(xué)消費(fèi)者預(yù)期調(diào)查的數(shù)據(jù)相當(dāng)接近，表明ChatGPT能夠利用其訓(xùn)練數(shù)據(jù)中的模式來(lái)進(jìn)行綜合的宏觀經(jīng)濟(jì)預(yù)測(cè)。

在失業(yè)率預(yù)測(cè)方面，ChatGPT-4在模擬Powell的角色時(shí)，預(yù)測(cè)結(jié)果與實(shí)際數(shù)據(jù)的吻合程度很高。

但整體預(yù)測(cè)準(zhǔn)確率沒(méi)有娛樂(lè)行業(yè)高，這說(shuō)明，在處理與文化和娛樂(lè)相關(guān)的預(yù)測(cè)任務(wù)時(shí)，ChatGPT能夠通過(guò)分析大量的訓(xùn)練數(shù)據(jù)和捕捉相關(guān)模式來(lái)做出精準(zhǔn)準(zhǔn)確的預(yù)測(cè)。

在更復(fù)雜、繁瑣的宏觀經(jīng)濟(jì)預(yù)測(cè)方面，ChatGPT雖然也表現(xiàn)出了很好的成績(jī)，但短期內(nèi)仍然無(wú)法替代人類的預(yù)測(cè)。

研究人員認(rèn)為，ChatGPT模型的預(yù)測(cè)能力在某些特定任務(wù)上可以媲美人類專家，尤其是在處理大量數(shù)據(jù)和模式識(shí)別方面。但在需要深入理解復(fù)雜經(jīng)濟(jì)機(jī)制和進(jìn)行精細(xì)調(diào)整的情況下，仍然無(wú)法比肩人類專家的直覺(jué)、經(jīng)驗(yàn)和對(duì)實(shí)時(shí)數(shù)據(jù)的敏感性。

此外，ChatGPT模型的預(yù)測(cè)能力也受限于其訓(xùn)練數(shù)據(jù)的截止日期和范圍，以及在生成預(yù)測(cè)時(shí)可能受到倫理和法律的限制。

本文轉(zhuǎn)自AIGC開(kāi)放社區(qū) ，作者：AIGC開(kāi)放社區(qū)

原文鏈接:??https://mp.weixin.qq.com/s/pTyZc-EgWSt6fZX6DE2Kjg??