缓存命中率
cache hit rate · huǎncún mìngzhònglǜ · 又作:缓存价
Agent反复读取的内容里,能按模型厂商缓存折扣价计费的比例。
Agent每一步都要重新读一遍任务要求和之前的内容,模型厂商会把读过的内容缓存起来,再次读到时按折扣价(缓存价)收费;缓存命中率就是重复内容里有多少能享受这个折扣。宝玉(@dotey)在解读网易LobsterAI报告时称,对大量使用Agent的人,缓存价打几折比命中率高一两个点更影响账单。
用法示例
- 据宝玉转述,9月各模型缓存命中率大多在九成上下,DeepSeek V4.1 Flash最高,为97.3%。