摘要
KVShareArena 为「非精确前缀复用」(RAG 检索块、多 agent 报告)的 KV 缓存修复方法打分,指标为无缓存与全量重算之间差距的恢复比例,同时核算计算/内存/每请求延迟。关键发现:除非查询需要多个来源,仅位置校正就已足够;付费方法(重编码/训练)能恢复差距的 1/2-2/3;未修复的复用可能比不用缓存更差;跨模型检查点复用时,训练出的适配器比免训练方法损失更多质量。以 pip 包发布,带自动提交与公开排行榜。
为什么重要
这个方法家族(ReCache、CacheBridge、位置修复)整个月都在长,却没有公平对比。KVShareArena 给了它排行榜和两条决策规则:跨「需要多来源」的查询不要复用未修复的缓存;跨检查点时优先免训练修复。
技术细节
| ArXiv | 2609.10266(9 月 10 日周四 digest,2026-09-11T00:00Z 宣告) |
|---|---|
| 指标 | 无缓存→全量重算差距的恢复比例;同时核算计算 / 内存 / 每请求延迟 |
| 发现 | 除多来源查询外,仅位置校正已足够;付费方法恢复差距的 1/2-2/3;未修复复用可能比无缓存更差;跨检查点时训练适配器劣于免训练方法 |
| 可用性 | pip 包;自动提交;公开排行榜 |
标签
kv-cachebenchmarkragprefix-caching