一則關(guān)于Claude Sonnet 3.5核心編碼的系統(tǒng)提示，最近在Reddit上傳瘋了！

名為ssmith12345uk用戶在r/ClaudeAI主板下面，講述了自己通過Claude代碼實(shí)踐，不斷調(diào)整系統(tǒng)提示來優(yōu)化模型。

他表示，系統(tǒng)提示融合了Anthropic元提示（Meta-Prompt）的一些思路，并解決了一些之前遇到的問題。

最終，他將所有的提示詞放了出來。

AI社區(qū)的開發(fā)者們紛紛轉(zhuǎn)發(fā)收藏，紛紛表示這不就是碼農(nóng)們最想要的提示么！

網(wǎng)友對此做了總結(jié)：ReAct + Planning + XML is all you need。

還有受益的網(wǎng)友稱，這一提示在自己的項(xiàng)目中非常有幫助。

就在昨天，原作者在Reddit社區(qū)，又發(fā)布了一個進(jìn)化版的V2提示詞，并且提供了詳細(xì)的使用說明和解釋。

在解釋這些系統(tǒng)提示技巧之前，先回答網(wǎng)友們一個問題——在哪輸入？

需要創(chuàng)建一個項(xiàng)目（訂閱Pro用戶），便可以進(jìn)入輸入提示指令的頁面。

Sonnet 3.5最強(qiáng)編碼提示，4步調(diào)教

在此，將V1和V2系統(tǒng)提示放在一起，讓大家更直觀感受升級后的不同。

V2版的系統(tǒng)提示，如下圖右所示。相較V1，基本上是小修小補(bǔ)。

最新版本中，依舊通過4個步驟引導(dǎo)模型完成CoT推理——代碼審查、規(guī)劃、輸出、安全審查。

在第一段中，Claude 3.5的角色定義，依舊保持不變。

你是一位網(wǎng)絡(luò)開發(fā)專家，精通CSS、JavaScript、React、Tailwind、Node.JS以及Hugo / Markdown。

只不過，再第二句時，進(jìn)行了一些微調(diào)——「不要進(jìn)行不必要的道歉。回顧對話歷史以避免重復(fù)之前的錯誤」。

接下來，要求Claude 3.5可以在對話中，將任務(wù)分解成獨(dú)立的步驟，并在每個階段后，建議進(jìn)行一個小測試，以確保一切都在正確的軌道上。

只在需要舉例說明，或被明確要求時再提供代碼。如果可以不用代碼回答，是最好的。

但如果需要的話，會要求進(jìn)一步闡述。

下一步就是「代碼審查」了——在編寫或建議代碼之前，對現(xiàn)有代碼進(jìn)行全面的代碼審查，并在 <CODE_REVIEW> tag之間描述其工作原理。

完成代碼審查后，需要在 <PLANNING> tag之間構(gòu)建變更計(jì)劃，詢問可能相關(guān)的額外源文件或文檔。

遵循DRY（Don't Repeat Yourself）原則，避免代碼重復(fù)，并平衡代碼的可維護(hù)性和靈活性。

并且，在這一步中，提出可能的權(quán)衡和實(shí)現(xiàn)選擇，考慮并建議使用相關(guān)的框架和庫。如果我們還沒有就計(jì)劃達(dá)成一致，就在這一步停止。

一旦達(dá)成一致，在 <OUTPUT> tag之間生成代碼。

這里，Reddit作者還提示了Claude 3.5在輸出代碼時，應(yīng)該注意的事項(xiàng)：

注意變量名、標(biāo)識符、字符串字面量（String Literals），并檢查它們是否從原始文件中準(zhǔn)確地復(fù)制

使用雙冒號和大寫字母（如::UPPERCASE::）來表示按慣例命名的項(xiàng)

保持現(xiàn)有的代碼風(fēng)格，使用適合該語言的習(xí)慣用法

生成代碼塊時，在第一個反引號后指定編程語言：比如：```JavaScript、```Python

最后，就需要對PLANNING和OUTPUT進(jìn)行安全和操作審查，特別注意可能危及數(shù)據(jù)或引入漏洞的事項(xiàng)。

對于敏感的更改（例如輸入處理、貨幣計(jì)算、身份驗(yàn)證），進(jìn)行徹底的審查，并在 <SECURITY_REVIEW> tag之給出你的分析。

作者分析

接下來，一大段解釋長文中，Reddit作者用???來表示提示「迷信」，用??表示自己確信的事情。

這個提示是一個引導(dǎo)式「思維鏈」??提示的例子，告訴Claude要采取的步驟以及順序，并將其用作系統(tǒng)提示（模型接收的第一組指令）。

使用XML tag來分隔步驟的靈感來自于??Anthropic元提示。

作者認(rèn)為，Claude??對XML標(biāo)簽特別敏感，這可能與模型訓(xùn)練有關(guān)。因此，他更傾向于單獨(dú)處理HTML或在會話末尾處理HTML???。

項(xiàng)目地址：https://github.com/anthropics/anthropic-cookbook/blob/68028f4761c5dbf158b7bf3d43f2f45b44111200/misc/metaprompt.ipynb#

引導(dǎo)式思維鏈遵循以下步驟：代碼審查、規(guī)劃、輸出、安全審查。

1 代碼審查

將結(jié)構(gòu)化的代碼分析帶入上下文中，為隨后的計(jì)劃提供信息。

目的是防止LLM在不考慮更廣泛上下文的情況下，對代碼進(jìn)行局部更改。作者在測試中確信這種方法是有效的??。

2 規(guī)劃

這個步驟會產(chǎn)生一個高層次的設(shè)計(jì)和實(shí)施規(guī)劃，以便在生成代碼之前進(jìn)行檢查。

這里的「停止」避免了用生成的、不需要的、不滿足我們需求的代碼填充上下文，或者我們來回反復(fù)修改的情況。

它通常會呈現(xiàn)一些相關(guān)的、恰當(dāng)?shù)倪x項(xiàng)。

在這個階段，你可以深入探討規(guī)劃的細(xì)節(jié)進(jìn)一步完善（例如，告訴我更多關(guān)于第3步的信息，我們能否重用Y實(shí)現(xiàn)，給我看一個代碼片段，關(guān)于庫該怎么考慮等）。

3 輸出

一旦規(guī)劃得到一致，就可以進(jìn)入代碼生成階段。

關(guān)于變量命名的提示，是因?yàn)樽髡咴陂L時間的會話中，經(jīng)常遇到重新生成的代碼丟失或產(chǎn)生幻覺的變量名的問題，目前提示改進(jìn)變似乎已經(jīng)解決了這個問題???。

某個時候，作者可能會導(dǎo)出舊的對話并進(jìn)行一些統(tǒng)計(jì)分析，但現(xiàn)在對這個方法的效果很滿意。

代碼圍欄（code fencing）提示，是因?yàn)樽髡咔袚Q到了一個無法推斷正確高亮的前端，并驗(yàn)證了這是正確的做法??。

4 安全審查

作者更傾向于在事后進(jìn)行安全審查，并發(fā)現(xiàn)這一步驟非常有幫助。

它提供了來自「第二雙眼睛」的審視，并可能提出新的改進(jìn)建議。

解答網(wǎng)友問題

最后，Reddit作者還對網(wǎng)友們的提問，做出了答復(fù)。

我應(yīng)該在Claude.ai上使用這個提示嗎？/ 系統(tǒng)提示應(yīng)該在哪輸入？

我們并不確切知道Sonnet 3.5的官方系統(tǒng)提示，假設(shè)之前泄露Claude官方提示的Pliny是正確的，肯定是有幫助的。作者推測Anthropic的系統(tǒng)提示可能包含自動化CoT，但可能并非如此，或者輸入可能會自動通過元提示處理???。

不過，無論如何，使用這一提示，你會得到不錯的結(jié)果，除非你在使用Artifacts。

再次假設(shè)Pliny關(guān)于Artifacts的摘錄是正確的，作者在此強(qiáng)烈建議，在進(jìn)行非瑣碎或非Artifacts相關(guān)的編碼任務(wù)時關(guān)閉Artifacts功能。

如果使用允許直接設(shè)置系統(tǒng)提示的工具，作者提醒要記得調(diào)整temperature參數(shù)。

我們現(xiàn)在不需要這么復(fù)雜的提示/我向Sonnet輸入了大量代碼，它就直接工作了

自動化的思維鏈（CoR）/默認(rèn)提示確實(shí)可以解決很多問題，但請將其與一個簡單的「你是一個有幫助的AI」提示進(jìn)行對比測試。

作者聲稱已經(jīng)進(jìn)行了這樣的測試，發(fā)現(xiàn)簡單提示在處理復(fù)雜問題時效果較差。

他還提到早期測試顯示了系統(tǒng)提示的敏感性，即不同的提示會導(dǎo)致顯著不同的結(jié)果，未來將考慮進(jìn)行更多的批量測試來進(jìn)一步驗(yàn)證這一點(diǎn)。

他承認(rèn)Sonnet 3.5在基本任務(wù)上表現(xiàn)出色，但同時強(qiáng)調(diào)，即使對于高性能的模型，適當(dāng)?shù)闹笇?dǎo)仍然有幫助。

這個提示太長了，會導(dǎo)致AI產(chǎn)生幻覺/遺忘/失去連貫性/失去焦點(diǎn)

作者測量了這個提示大約有546個token，而在一個200,000 token的模型中，提示長度是可以接受的。

結(jié)構(gòu)化提示能夠維持上下文的高質(zhì)量，有助于保持對話的連貫性并減少AI產(chǎn)生幻覺的風(fēng)險。

目前為止，模型是基于整個上下文來預(yù)測下一個token，所以重復(fù)的高質(zhì)量對話，不被不必要的來回代碼污染，可以在你需要開始新會話之前持續(xù)更長時間。這意味著可以在同一會話中進(jìn)行更長時間的有效交互。

這個提示是過度設(shè)計(jì)

作者對此表示道，也許是吧。

用上的人，已融入工作流

網(wǎng)友驚嘆道，用過之后模型性能確實(shí)提升了。

「如果這個提示效果更好，那就說明Anthropic團(tuán)隊(duì)在結(jié)合CoT或ReAct系統(tǒng)提示與LLM基礎(chǔ)能力方面所做的工作，取得了成效」。

這是給編碼助手設(shè)計(jì)的！對于這樣的任務(wù)來說，給出一些指導(dǎo)是有意義的。

還有的網(wǎng)友，已經(jīng)將其中一部分提示融到自己工作流中。如下是他在新對話中總是首先加載的內(nèi)容。

不過，也有一些網(wǎng)友表示，這個提示太過復(fù)雜。

「根據(jù)我的經(jīng)驗(yàn)，沒有必要使用如此全面的提示。Claude 3.5 Sonnet能夠相當(dāng)自動地處理這類事情，只需偶爾進(jìn)行提示澄清」。

角色提示，純屬浪費(fèi)時間

Django框架的開發(fā)者Simon Willison表示，「你是xxx領(lǐng)域的專家」這種提示技巧，自2022年底以來，完全是浪費(fèi)時間。

LLM提示所涉及的「迷信」，數(shù)量相當(dāng)驚人！

這一結(jié)論竟出自，Learnprompting團(tuán)隊(duì)和OpenAI、微軟合著者開展的為期一年的研究。

論文地址：https://arxiv.org/pdf/2406.06608

項(xiàng)目中，他們分析了超1,500篇關(guān)于提示的論文，并將其歸納為58種不同的提示技術(shù)，并對每一種提示進(jìn)行了分析。

研究發(fā)現(xiàn)，角色提示（Role Prompting）的效果，令人震驚地差。

原因是，對于較舊的模型，它們似乎可以通過提示進(jìn)入一個更好的參數(shù)空間，來獲得改進(jìn)的響應(yīng)/推理。然而，較新的模型可能已經(jīng)處于那個改進(jìn)的參數(shù)空間中。

這對于所有人來說，將是一個有建設(shè)性的猜測！

回到2022年10月，當(dāng)Learnprompting發(fā)布了有史以來第一個關(guān)于ChatGPT之前的提示技巧指南時，角色提示正是當(dāng)時最熱門的話題，也是所有人推薦用來獲得更好ChatGPT結(jié)果的核心技巧。

不得不承認(rèn)的是，這些模型正在迅速進(jìn)化，去年有效的技巧今天可能就不再有效了。

而今天有效的提示技巧，到明年可能也不再有效。

為了澄清這一問題，Learnprompting團(tuán)隊(duì)對gpt-4-turbo使用了大約12不同的角色提示，測試了2000個MMLU問題。

特別是，創(chuàng)建了一個「天才」角色的提示例子——你是一位哈佛大學(xué)畢業(yè)的科學(xué)家...

還有一個「白癡」角色的提示——你是個笨蛋…

"genius...": "You are a genius level Ivy league Professor. Your work is of the highest grade. You always think out your problem solving steps in incredible detail. You always get problems correct and never make mistakes. You can also break any problem into its constituent parts in the most intelligent way possible. Nothing gets past you. You are omniscient, omnipotent, and omnipresent. You are a mathematical God."
 "idiot...": "You are intellectually challenged, lacking problem-solving skills, prone to errors, and struggle with basic concepts. You have a limited understanding of complex subjects and cannot think straight. You can't solve problems well, in fact, you can't solve them at all. You are a terrible, dumb, stupid, and idiotic person. You fail at everything you do. You are a nobody and can't do anything correctly."

如下圖所示，不同角色提示的回答準(zhǔn)確率，竟沒有零樣本CoT、兩個樣本CoT等策略的比例高。

不管是數(shù)學(xué)菜鳥、粗心的學(xué)生，還是富有學(xué)識的AI、警察官、青藤數(shù)學(xué)教授，全都沒用。

更有趣的是，被稱為「天才」的GPT-4，在回答準(zhǔn)確率上，破最低記錄58.7%。

而被稱為「白癡」的GPT-4，得分還要比「天才」GPT-4高。

而另一項(xiàng)來自密歇根大學(xué)團(tuán)隊(duì)的研究，很好地闡釋了不同社會角色提示，如何影響模型整體的性能。

他們在2457個MMLU問題上進(jìn)行了測試，發(fā)現(xiàn)表現(xiàn)最好的角色是（紅色）——警察、有用的助手、伙伴、導(dǎo)師、AI語言模型、聊天機(jī)器人。

論文地址：https://arxiv.org/pdf/2311.10054

對于大模型提示「迷信」，Willison做了一個生動有趣的比喻：

我把這種情況比作一只狗在灌木叢中找到了一個漢堡，然后在接下來的幾年里每次經(jīng)過那個灌木叢時都會去檢查是否有漢堡。我們需要比狗更加理性。

不過，他澄清在某些情況下，給AI語言模型賦予特定角色是有用的，但強(qiáng)調(diào)這應(yīng)該基于合理的思考和具體情況。

還有網(wǎng)友表示，一步一步思考，依舊是永恒不變的定理。