第21章 DeepSeek API 推出硬盘上下文缓存，成本最高降 90%

DeepSeek API 推出硬盘上下文缓存技术，价格降低一个数量级

在大语言模型 API 的使用中，用户输入有相当大比例是重复的。比如用户的提示词常常引用相同内容，多轮对话中前面的内容也经常被反复传入。

为此，DeepSeek 实现了硬盘上下文缓存（Context Caching on Disk）技术。这一创新方案会把预计会被重复使用的内容缓存到分布式硬盘阵列上，当检测到重复输入时，直接从缓存中读取重复部分，无需重新计算。这不仅降低了服务延迟，也大幅削减了整体使用成本。

缓存命中部分，DeepSeek 仅收取每百万 token $0.014 的费用，API 成本最多可降低 90%¹。

提示 1：API 价格已更新，详情请参阅 Models & Pricing。

如何使用 DeepSeek API 的缓存服务

硬盘缓存服务现已面向所有用户开放，无需修改任何代码或接口。缓存服务自动运行，按实际缓存命中情况计费。

注意：只有前缀完全一致（从第 0 个 token 开始）的请求才会被判定为重复，输入中间部分相同不会触发缓存命中。

以下是两个经典的缓存使用场景：

1. 多轮对话：下一轮对话可以命中上一轮生成的上下文缓存。

2. 数据分析：后续具有相同前缀的请求可以命中上下文缓存。

上下文缓存的优势场景：

带长预设提示词的问答助手

角色设定丰富、多轮对话的角色扮演

对同一文档/文件反复查询的数据分析

反复引用代码仓库的代码分析与调试

通过 Few-shot 学习提升模型输出效果

……

更详细的使用说明请参阅指南 Use Context Caching。

监控缓存命中情况

API 响应的 usage 部分新增了两个字段，方便用户监控缓存效果：

prompt_cache_hit_tokens：输入中命中缓存的部分（每百万 token $0.014）

prompt_cache_miss_tokens：输入中未命中缓存的部分（每百万 token $0.14）

降低延迟

对于输入较长且重复度高的请求，首 token 延迟会显著降低。

对一个 128K、引用内容多的提示词，首 token 延迟从 13 秒缩短至仅 500 毫秒。

降低成本

针对缓存特性进行优化，用户最多可节省 90% 的成本。

即使不做任何优化，历史数据显示用户平均也能节省 50% 以上。

除缓存命中部分每百万 token $0.014 的费用外，该服务不收取任何额外费用，缓存占用的存储也完全免费。

安全性问题

缓存系统采用了完善的安全策略。

每个用户的缓存相互隔离，对其他用户逻辑上不可见，确保数据隐私与安全。

未使用的缓存会在一段时间后自动清除，不会被保留或挪作他用。

为什么 DeepSeek 能率先实现硬盘缓存

根据公开信息，DeepSeek 似乎是全球首家在 API 服务中大规模应用硬盘缓存的大语言模型提供商。

这得益于 DeepSeek V2 中的 MLA 架构——它在提升模型性能的同时大幅压缩了上下文 KV 缓存的体积，使其能够高效存储在低成本的硬盘上。

DeepSeek API 的并发与限流

DeepSeek API 每天可处理多达 1 万亿 token，对并发和速率均无限制，为所有用户提供高质量服务。欢迎放心提升并行度。

缓存系统以 64 个 token 为存储单位，不足 64 个 token 的内容不会被缓存。

缓存系统不保证 100% 命中。

未使用的缓存会自动清除，通常在几小时到几天内完成。