最近我有幸參與了一個(gè)與自然語言處理相關(guān)的項(xiàng)目，團(tuán)隊(duì)選擇了大語言模型作為核心技術(shù)之一。在一個(gè)分類任務(wù)中，我們通過精心設(shè)計(jì)提示詞，顯著提升了模型的準(zhǔn)確率。這個(gè)過程讓我們積累了一些有用的 “提示詞” 經(jīng)驗(yàn)。接下來，我將分享一些關(guān)于 “提示詞” 優(yōu)化的經(jīng)驗(yàn)和技巧，希望能夠幫助大家更好地利用大語言模型。

一、對(duì)大語言模型的重新認(rèn)識(shí)

在項(xiàng)目中，我們逐漸意識(shí)到，要真正發(fā)揮大語言模型的潛力，僅靠工具層面的了解是不夠的，還需要對(duì)其內(nèi)部運(yùn)作機(jī)制有所了解。

簡單來說，大語言模型通過對(duì)海量文本數(shù)據(jù)進(jìn)行學(xué)習(xí)，捕捉文本間的模式和關(guān)聯(lián)，從而實(shí)現(xiàn)理解和生成文本的能力。本質(zhì)上講，大語言模型是一種統(tǒng)計(jì)模型，它對(duì)互聯(lián)網(wǎng)上的公開文本（如新聞、博客、社交媒體、書籍等）進(jìn)行統(tǒng)計(jì)，識(shí)別詞語間的深層次關(guān)系。從這點(diǎn)可以知道，大語言模型所掌握的知識(shí)和所具備的能力也是與互聯(lián)網(wǎng)文本數(shù)據(jù)中的基本統(tǒng)計(jì)特征相對(duì)應(yīng)的。

這讓大語言模型具備這樣幾個(gè)值得注意的特點(diǎn)：

• 語義相似性: 它能很好地識(shí)別不同詞匯之間的關(guān)聯(lián)。
• 常見語法結(jié)構(gòu)和語序: 對(duì)日常使用的句式結(jié)構(gòu)了然于胸。
• 部分領(lǐng)域?qū)I(yè)術(shù)語: 雖然擅長某些領(lǐng)域的專業(yè)詞匯，但可能在深層次的行業(yè)知識(shí)上略有不足。
• 模式與關(guān)聯(lián)學(xué)習(xí): 通過海量數(shù)據(jù)，習(xí)得了許多模式和關(guān)聯(lián)，但對(duì)其背后的邏輯或原理，不一定有更深入的理解。

大語言模型的推理是怎么回事呢？

大語言模型的輸出過程可以理解為一系列的條件概率計(jì)算。在生成文本時(shí)，模型會(huì)根據(jù)已有的上下文信息，預(yù)測下一個(gè)詞的概率分布，并選擇概率最高的詞作為輸出。這個(gè)過程不斷重復(fù)，直到生成完整的文本。

盡管乍一看似乎缺乏邏輯推理，但實(shí)際上，邏輯推理始終潛藏于整個(gè)過程。這是因?yàn)椋~語之間本身就存在著內(nèi)在的邏輯關(guān)聯(lián)，每個(gè)詞可以被視為是基于前置詞匯進(jìn)行邏輯推導(dǎo)而得出的結(jié)果。因此，每一次新詞的生成都是一次微妙的推理過程。互聯(lián)網(wǎng)文本如此，大語言生成的文本亦是如此。

基于此，我們也可以了解為什么加上 COT 之后模型能輸出更準(zhǔn)確的結(jié)果。因?yàn)?COT 為模型注入了更多的推理邏輯過程，有了這些之后，生成的文本在邏輯上就更能成立了，輸出正確答案的概率自然也變高了。（COT 是 Chain of Thought 的縮寫，即思維鏈，是一種讓模型逐步推理出答案的方法。）

二、提示詞優(yōu)化

了解這些如何能指導(dǎo)我們更好的應(yīng)用大語言模型呢？那就是提示詞優(yōu)化了。

提示詞是與大語言模型交互的途徑和關(guān)鍵，它決定了模型如何理解和生成文本。優(yōu)化提示詞被認(rèn)為是一件非常 tricky 的事情，并不容易。根據(jù)我們的經(jīng)驗(yàn)，在優(yōu)化提示詞時(shí)，把上面的對(duì)大語言模型特點(diǎn)的理解謹(jǐn)記于心，常常能找到優(yōu)化的方向。

三、一些提示詞優(yōu)化經(jīng)驗(yàn)

提示詞優(yōu)化的目的是讓大語言模型更好地理解我們的意圖，從而生成更準(zhǔn)確、更符合預(yù)期的輸出。

那么大語言模型常常在什么地方出問題呢？我們觀察到：

• 理解偏差：大語言模型可能誤解了我們的意圖，導(dǎo)致輸出不符合預(yù)期。
• 信息不足：大語言模型可能缺乏足夠的信息來生成準(zhǔn)確的輸出。
• 邏輯錯(cuò)誤：大語言模型可能在推理過程中出現(xiàn)邏輯錯(cuò)誤，導(dǎo)致輸出不準(zhǔn)確。
• 推理不足：大語言模型可能輸出內(nèi)容很少，推理不足，導(dǎo)致輸出不準(zhǔn)確。
• 關(guān)注的重點(diǎn)不一致：大語言模型可能關(guān)注的重點(diǎn)與我們預(yù)期的不一致，導(dǎo)致輸出錯(cuò)誤。

了解這些可以讓我們更好地理解大語言模型的行為，從而更有針對(duì)性地優(yōu)化提示詞。

四、下面分享一些具體的優(yōu)化經(jīng)驗(yàn)

為了更快的響應(yīng)速度，一般的提示詞會(huì)直接讓大語言模型輸出結(jié)果，不要附帶其他信息。但是這樣一來，出錯(cuò)了就沒法知道原因。

1. 為了解決這個(gè)問題，我們可以讓大語言模型先輸出結(jié)果，再解釋原因

這樣一來，如果出錯(cuò)了，就可以根據(jù)解釋進(jìn)行分析。例如，我們可以這樣提示大語言模型：“請(qǐng)先在第一行直接輸出結(jié)果，然后換一行開始逐步解釋原因”當(dāng)大語言模型輸出錯(cuò)誤的結(jié)果時(shí)，我們可以根據(jù)解釋的原因來判斷錯(cuò)誤的原因，從而更有針對(duì)性地優(yōu)化提示詞。在上線應(yīng)用時(shí)，只需要設(shè)置stop_words為換行符，就可以快速地只獲取結(jié)果，而不需要解釋的原因。

2. 基于大語言模型的解釋去分析在哪里表現(xiàn)不好，或者理解有差異，針對(duì)性的添加提示詞

大模型的解釋常常可以幫助我們分析其在哪里表現(xiàn)不好，或者理解有差異。這一方法，通常可以解決由于理解偏差和信息不足帶來的問題。我們可以根據(jù)這些信息，針對(duì)性地添加提示詞，來引導(dǎo)大語言模型更準(zhǔn)確地理解我們的意圖。例如，如果大語言模型在關(guān)于分類的定義理解有差異，我們可以在提示詞中添加相關(guān)的背景知識(shí)，來幫助大語言模型更準(zhǔn)確地理解。

我在實(shí)驗(yàn)過程中，就碰到這樣一個(gè)例子。我發(fā)現(xiàn)大語言模型不能將“錢包”對(duì)應(yīng)到“數(shù)字人民幣錢包”，而是將其理解為“實(shí)體錢包”。我在提示詞中添加了“數(shù)字人民幣錢包”的定義，并說明其簡稱為“錢包”，就解決了這個(gè)問題。再比如，大語言模型可能不能很好的區(qū)分兩個(gè)分類，我們可以在提示詞中添加關(guān)鍵的差異點(diǎn)，來幫助大語言模型更準(zhǔn)確地理解。當(dāng)然，這個(gè)差異點(diǎn)我們也不用自己想，可以通過詢問大語言模型來找到。

我們?cè)趯?shí)驗(yàn)中的例子是，大語言模型對(duì)于用戶意圖是“完成任務(wù)”或者“咨詢問題”兩個(gè)類別識(shí)別不夠準(zhǔn)確。通過分析大語言模型的解釋，發(fā)現(xiàn)關(guān)鍵的差異在于是否在完成任務(wù)的過程中遇到問題。我們?cè)谔崾驹~中添加了這一點(diǎn)，模型表現(xiàn)就更好了。

我們都知道COT可以提高大語言模型的正確率，但是COT比較慢，難以應(yīng)對(duì)實(shí)時(shí)的應(yīng)用場景。是不是可以把COT編碼到提示詞中？這樣就可以提高正確率，又不會(huì)影響響應(yīng)速度。我們實(shí)驗(yàn)發(fā)現(xiàn)，這樣做是可行的，只需要進(jìn)行一點(diǎn)抽象即可。

首先，我們可以讓大語言模型對(duì)錯(cuò)誤的用例，使用COT重新解釋一遍，如果這次能解釋正確，就說明這個(gè)邏輯可以參考。但這樣的解釋可能跟具體的用例強(qiáng)相關(guān)，難以直接放到提示詞中。這個(gè)問題不難解決，我們可以讓大語言模型對(duì)其他錯(cuò)誤的用例也應(yīng)用COT進(jìn)行解釋，然后找到解釋中的共性，將這些共性抽象出來，放到提示詞中就可以了。比如，大語言模型有時(shí)會(huì)把“完成某個(gè)特定任務(wù)”和“閑聊”混淆，觀察大語言模型對(duì)錯(cuò)誤用例的COT解釋，發(fā)現(xiàn)大語言模型提到了“是否有目的性”。這是一個(gè)很好的共性，我們可以將其提取出來，放到提示詞中。把COT編碼到提示詞中常常能解決邏輯錯(cuò)誤和推理不足的問題。

3. 分析性的提示詞放在后面，在提示詞中編碼分析過程，可以提高正確率

這是一個(gè)很有意思的發(fā)現(xiàn)。一般而言， 我們會(huì)把描述任務(wù)的提示詞放在前面，然后再放需要分析的內(nèi)容。但事實(shí)上這會(huì)降低正確率。我們發(fā)現(xiàn)，如果把描述任務(wù)的提示詞放在后面，就可以提高5％左右的正確率。仔細(xì)一想，這其實(shí)比較符合COT的思路。在COT中，我們也是基于問題進(jìn)行分析之后得出結(jié)果。描述任務(wù)的提示詞其實(shí)蘊(yùn)含了分析過程，放在后面，一定程度上有COT分析過程的意義，所以可能是更有效的。

4. 保持英文和中文的一致性，不要引入一些隱性的差異

另一個(gè)有意思的發(fā)現(xiàn)是，大語言模型對(duì)于英文和中文的敏感度是不一樣的。一些開源的模型，如Llama系列的，其訓(xùn)練數(shù)據(jù)以英文為主，那么英文的敏感度就可能更高。這給我們的啟示是，用英文比用中文可能能取得更好的效果。實(shí)際上，在我們項(xiàng)目里面，是中英混合的。我們一開始嘗試了多次在提示詞中用中文進(jìn)行解釋，但效果一直不夠理想。后來我們發(fā)現(xiàn)英文名與中文的描述并不是特別一致，我們把一個(gè)隱含的結(jié)構(gòu)放在了英文名中。在修改英文名之后，效果就好了很多。

保持中英文一致，常常是解決大語言關(guān)注的重點(diǎn)不一致問題的一個(gè)不錯(cuò)的方法。

5. 保持提示詞使用簡潔而嚴(yán)謹(jǐn)?shù)恼Z言風(fēng)格

簡潔而嚴(yán)謹(jǐn)?shù)恼Z言風(fēng)格，就像是在書寫嚴(yán)謹(jǐn)?shù)耐评眍惖奈臋n內(nèi)容（比如論文），可以讓大語言模型更加專注于任務(wù)，而不會(huì)被其他的信息干擾。在實(shí)際應(yīng)用中，這常常也是有效的，而且，這樣的提示詞還能節(jié)省token，讓模型響應(yīng)更快。

五、總結(jié)

大語言模型的能力越來越強(qiáng)大，應(yīng)用也越來越廣泛，但是，實(shí)際應(yīng)用中，我們?nèi)匀恍枰獙?duì)其進(jìn)行一些調(diào)教，才能更好地發(fā)揮其潛力。

本文分享了一些我們對(duì)大語言模型的理解，并基于一些實(shí)際操作經(jīng)驗(yàn)分享了我們?cè)谔崾驹~設(shè)計(jì)上的一些發(fā)現(xiàn)。希望這些發(fā)現(xiàn)能夠?qū)Υ蠹矣兴鶐椭?/p>