編輯 | 星璇
出品 | 51CTO技術棧（微信號：blog51cto）
Anthropic和OpenAI的競爭日趨白熱化，前不久OpenAI發布了更便于開發者定制輸出的json API，沒過多久Anthropic也開始發布了一項利好開發者的消息：終于不必重復調用同樣地提示了！
Anthropic在其 API 上引入了提示緩存，它可以記住 API 調用之間的上下文并允許開發人員避免重復提示。
簡單來講，新版API可以“記住”一整本書或整個代碼庫，不需要再重復輸入了。這樣一來，不僅處理長文本的延時更低，更是能節省最高90%的成本。
提示緩存功能已在 Claude 3.5 Sonnet 和 Claude 3 Haiku 的公開測試版中推出，但對最大的 Claude 模型 Opus 的支持即將推出。
早在2023 年，論文《PROMPT CACHE: MODULAR ATTENTION REUSE FOR LOW-LATENCY INFERENCE》中就提出了“提示緩存”的方法，它允許用戶在會話中保留常用的上下文。由于模型會記住這些提示，因此用戶可以添加額外的背景信息而不會增加成本。這在有人想在提示中發送大量上下文，然后在與模型的不同對話中引用它的情況下很有用。它還允許開發人員和其他用戶更好地微調模型響應。
圖片
Anthropic 表示，早期用戶“已經看到了針對各種用例的提示緩存帶來的顯著速度和成本改進——從包括完整的知識庫到 100 個示例，再到在提示中包含每次對話”。
該公司表示，潛在的用例包括：降低對話代理的長指令和上傳文檔的成本和延遲、更快地自動完成代碼、為代理搜索工具提供多條指令以及在提示中嵌入整個文檔。
1.緩存提示定價高嗎？
緩存提示的一個優點是每個令牌的價格較低，Anthropic 表示使用緩存提示“比基本輸入令牌價格便宜得多”。
對于 Claude 3.5 Sonnet，編寫要緩存的提示將花費每 100 萬個令牌 (MTok) 3.75 美元，但使用緩存的提示將花費每 MTok 0.30 美元。Claude 3.5 Sonnet 模型的輸入基本價格為每 MTok 3 美元，因此，如果您預先多付一點錢，下次使用緩存的提示時，您可以預期節省 10 倍。
Claude 3 Haiku 用戶將為緩存支付 0.30 美元/MTok，使用存儲提示時支付 0.03 美元/MTok。
雖然 Claude 3 Opus 尚未提供即時緩存功能，但 Anthropic 已經公布了其價格。寫入緩存的費用為 18.75 美元/MTok，但訪問緩存的即時緩存費用為 1.50 美元/MTok。
然而，正如人工智能影響者 Simon Willison 在 X 上指出的那樣，Anthropic 的緩存僅有 5 分鐘的生命周期，并且每次使用時都會刷新。
當然，這并不是 Anthropic 第一次嘗試通過定價與其他 AI 平臺競爭。在 Claude 3 系列模型發布之前，Anthropic大幅下調了其Tokens價格。
在為基于其平臺進行開發的第三方開發者提供低價選項方面，它目前正與谷歌和OpenAI等競爭對手進行某種“競相壓價”的態勢。
2.呼聲極高的功能
其他平臺也提供提示緩存版本。LLM 推理系統 Lamina利用 KV 緩存來降低 GPU 成本。粗略瀏覽一下 OpenAI 的開發者論壇或 GitHub，就會發現有關如何緩存提示的問題。
緩存提示與大型語言模型內存中的提示不同。例如，OpenAI 的 GPT-4o 提供了一個內存，模型可以在其中記住偏好或詳細信息。但是，它不會像提示緩存那樣，記住并存儲提示和對應的輸出。
