成本降低90%！Anthropic 推出新 Claude 提示緩存！開發人員將省去一大筆錢原創

51CTO技術棧

發布于 2024-8-19 10:00

瀏覽

0收藏

編輯 | 星璇

出品 | 51CTO技術棧（微信號：blog51cto）

Anthropic和OpenAI的競爭日趨白熱化，前不久OpenAI發布了更便于開發者定制輸出的json API，沒過多久Anthropic也開始發布了一項利好開發者的消息：終于不必重復調用同樣地提示了！

Anthropic在其 API 上引入了提示緩存，它可以記住 API 調用之間的上下文并允許開發人員避免重復提示。

簡單來講，新版API可以“記住”一整本書或整個代碼庫，不需要再重復輸入了。這樣一來，不僅處理長文本的延時更低，更是能節省最高90%的成本。

提示緩存功能已在 Claude 3.5 Sonnet 和 Claude 3 Haiku 的公開測試版中推出，但對最大的 Claude 模型 Opus 的支持即將推出。

早在2023 年，論文《PROMPT CACHE: MODULAR ATTENTION REUSE FOR LOW-LATENCY INFERENCE》中就提出了“提示緩存”的方法，它允許用戶在會話中保留常用的上下文。由于模型會記住這些提示，因此用戶可以添加額外的背景信息而不會增加成本。這在有人想在提示中發送大量上下文，然后在與模型的不同對話中引用它的情況下很有用。它還允許開發人員和其他用戶更好地微調模型響應。

成本降低90%！Anthropic 推出新 Claude 提示緩存！開發人員將省去一大筆錢-AI.x社區圖片

Anthropic 表示，早期用戶“已經看到了針對各種用例的提示緩存帶來的顯著速度和成本改進——從包括完整的知識庫到 100 個示例，再到在提示中包含每次對話”。

該公司表示，潛在的用例包括：降低對話代理的長指令和上傳文檔的成本和延遲、更快地自動完成代碼、為代理搜索工具提供多條指令以及在提示中嵌入整個文檔。

1.緩存提示定價高嗎？

緩存提示的一個優點是每個令牌的價格較低，Anthropic 表示使用緩存提示“比基本輸入令牌價格便宜得多”。

對于 Claude 3.5 Sonnet，編寫要緩存的提示將花費每 100 萬個令牌 (MTok) 3.75 美元，但使用緩存的提示將花費每 MTok 0.30 美元。Claude 3.5 Sonnet 模型的輸入基本價格為每 MTok 3 美元，因此，如果您預先多付一點錢，下次使用緩存的提示時，您可以預期節省 10 倍。

Claude 3 Haiku 用戶將為緩存支付 0.30 美元/MTok，使用存儲提示時支付 0.03 美元/MTok。

雖然 Claude 3 Opus 尚未提供即時緩存功能，但 Anthropic 已經公布了其價格。寫入緩存的費用為 18.75 美元/MTok，但訪問緩存的即時緩存費用為 1.50 美元/MTok。

然而，正如人工智能影響者 Simon Willison 在 X 上指出的那樣，Anthropic 的緩存僅有 5 分鐘的生命周期，并且每次使用時都會刷新。

當然，這并不是 Anthropic 第一次嘗試通過定價與其他 AI 平臺競爭。在 Claude 3 系列模型發布之前，Anthropic大幅下調了其Tokens價格。

在為基于其平臺進行開發的第三方開發者提供低價選項方面，它目前正與谷歌和OpenAI等競爭對手進行某種“競相壓價”的態勢。