DeepSeek硬盘缓存默认开着,但只有前缀完全一致才命中
DeepSeek 官方文档里有个默认开启、但很多人没用上的能力:上下文硬盘缓存(Context Caching on Disk)。 它默认对所有用户开启,不需要改代码。规则是:每次请求都会构建硬盘缓存,后续请求如果和之前的请求有重叠前缀,重叠部分直接从缓存里取,这部分算 cache hit;但缓存前缀是独立完整的单元,后续请求必须完全匹配某个前缀单元才会命中。 想吃到这部分便宜,关键是把请求写成「稳定内容在前、变量在后」:系统提示、工具定义、固定知识库、长文档放最前面,用户问题、时间戳、随机 ID 这些每次都变的东西放后面。多轮对话天然受益——第一轮是 A+B,第二轮 A+B+C,第二轮能完整匹配 A+B,直接命中。 反过来,前缀里塞时间戳或随机 ID,会让每次前缀都不一样,命中率基本归零。官方还说明,长输入和长输出会按固定 token 间隔切出缓存单元,所以长文档、长上下文任务也有命中机会。 一句话操作口径:把不变的内容固化到前缀里并保持顺序稳定,把变化的内容放到最后。
还没有跟帖,欢迎写下第一条。