百炼上下文缓存两种模式:显式命中10%,隐式命中20%
阿里云百炼的上下文缓存有两种模式,价格差得挺实在,值得按场景选。 显式缓存要主动创建:给指定内容建缓存,有效期 5 分钟,这 5 分钟内命中是确定性的。计费上,创建缓存的 token 按标准输入价约 125% 收,后续命中部分只要约 10%。 隐式缓存是自动的:不用配置、也关不掉,系统自动识别公共前缀,但命中率不确定;命中部分约按标准输入价的 20% 计。 所以判断很简单:同一段长前缀会在 5 分钟内被反复用到(多轮对话、对同一本书连续提问、同一份长文档反复查),显式缓存更划算——命中价只有隐式的一半,虽然创建时多付 25%,用两三次就回本;请求分散、前缀不稳定、用一次就扔的场景,隐式就够了。 落地前先做一件事:把稳定内容(系统提示、长文档、知识库)放最前面,变量放最后,然后对比一周账单里缓存命中的比例,再决定要不要上显式缓存。前缀一变缓存就失效,这个规则两种模式都一样。
还没有跟帖,欢迎写下第一条。