終于找到答案了!DeepSeek憑啥能給出這么豐富的答案 - 反事實(shí)推理(上)
為什么deepseek的回答如此豐富,如此多維度?
今天和大家聊聊,deepseek核心技術(shù)(之一):反事實(shí)推理。
什么是反事實(shí)推理?
Counterfactual Reasoning,它是一種通過構(gòu)建與事實(shí)相反的假設(shè)性情景,探索因果關(guān)系和潛在結(jié)果的邏輯推理方法。
舉個(gè)例子:
如果我是帥哥,短視頻流量會怎樣?
我是帥哥嗎?不是,這個(gè)假設(shè)有違事實(shí)。
但基于這個(gè)假設(shè),會怎么樣呢?
探索一下其中的因果關(guān)系與潛在結(jié)果。
為什么說反事實(shí)推理對deepseek幫助極大呢?
其一,能突破數(shù)據(jù)量上限。
傳統(tǒng)的大模型,比拼的都是數(shù)據(jù)量與參數(shù)量,需要大量的互聯(lián)網(wǎng)數(shù)據(jù)。但互聯(lián)網(wǎng)數(shù)據(jù)畢竟是有限的,最多把全網(wǎng)的數(shù)據(jù)都拿來訓(xùn)練,對吧?
有沒有辦法突破全網(wǎng)數(shù)據(jù)量上限呢?
有的,虛構(gòu)數(shù)據(jù),反事實(shí)推理模擬各種場景,來增強(qiáng)訓(xùn)練樣本。
其二,助力因果發(fā)現(xiàn),加強(qiáng)結(jié)果的解釋性,關(guān)聯(lián)性,因果性。
會有人問,虛構(gòu)訓(xùn)練數(shù)據(jù),那回復(fù)的置信度會打折扣吧?
與之相反,反事實(shí)推理有著嚴(yán)密的數(shù)學(xué)模型,因果推斷三層次模型,它由美國計(jì)算機(jī)科學(xué)家Pearl提出,是因果推理理論的核心框架。
因果推斷有哪三層次?
第一層:關(guān)聯(lián),Association。這一層關(guān)注條件概率P(Y|X),是傳統(tǒng)統(tǒng)計(jì)學(xué)和機(jī)器學(xué)習(xí)的主要關(guān)注點(diǎn)。
這一層能回答:是否具備相關(guān)性。
但無法回答:是否具備因果性。
舉例,通過觀察事實(shí)發(fā)現(xiàn):P(肺癌|吸煙) > P(肺癌|不吸煙)
推理得出:肺癌與吸煙相關(guān)
但無法推出:吸煙導(dǎo)致肺癌
第二層:干預(yù),Aintervention。這一層關(guān)注P(Y|do(X)),即主動干預(yù)某一變量,觀察對結(jié)果的影響。
這一層能夠回答:如果怎么樣(施加了干預(yù)),會怎么樣。
舉例,強(qiáng)制所有人抽煙,然后繼續(xù)觀察事實(shí)發(fā)現(xiàn):
- P(肺癌|do(吸煙=100%)) > P(肺癌)
- P(肺癌|do(吸煙=100%)) != 100%
推理得出:
- 吸煙會使肺癌概率上升;
- 但吸煙不是導(dǎo)致肺癌的原因;
第三層:反事實(shí),Counterfactuals。這一層研究假設(shè)性問題,關(guān)注xxoo(公式不會輸入)。
這一層關(guān)注:如果采取了不同的行動,結(jié)果會如何。這里面會用到結(jié)構(gòu)因果建模SCM,反事實(shí)計(jì)算,可識別性分析等知識,不詳細(xì)展開。
畫外音:樓主沒研究透,所以打馬虎眼一筆帶過(這一句發(fā)布時(shí)刪除)。
舉例:如果某吸煙者當(dāng)初未吸煙,肺癌的概率會如何變化。
反事實(shí)推理在責(zé)任判定(例如:醫(yī)療事故歸因),個(gè)性化決策(如果xx怎么樣,如果xx怎樣),人工智能因果解釋性上有大量應(yīng)用。
總之,通過反事實(shí)推理,deepseek能夠更好地揭示變量間的因果鏈。
其三:避免單一輸出,加強(qiáng)分析維度。
這一點(diǎn)用過deepseek的童鞋感受上應(yīng)該都比較直觀。
你看,deepseek的回答豐富度極高:
- 構(gòu)造假設(shè),嘗試多方案;
- 多方案進(jìn)行數(shù)據(jù)對比;
- 差異歸因;
- 給出結(jié)論與建議;
總的來說,deepseek在提示詞優(yōu)化引擎,因果推理模塊,解釋性增強(qiáng)模塊,結(jié)論輸出模塊… 等算法、策略、工程架構(gòu)中都深度結(jié)合了反事實(shí)推理,其對deepseek的崛起功不可沒。
反事實(shí)推理,對我們寫提示詞,獲取更佳的回答質(zhì)量有什么啟示呢?
下一篇見。。
總結(jié)
- 反事實(shí)推理是deepseek的核心技術(shù)(之一);
- 反事實(shí)推理,是一種通過構(gòu)建與事實(shí)相反的假設(shè)性情景,探索因果關(guān)系和潛在結(jié)果的邏輯推理方法;
- 反事實(shí)推理,有著嚴(yán)密的數(shù)學(xué)模型,屬于因果推斷第三層次;
- 反事實(shí)推理,能幫deepseek突破數(shù)據(jù)量上限,加強(qiáng)結(jié)果解釋性,提升回復(fù)豐富度;
知其然,知其所以然。
思路比結(jié)論更重要。