arXiv cs.CL· Taiga Ikeda, Daisuke Miyashita, Jun Deguchi·· 2 小时前AI 评分32
KV-Repurpose：评估非前缀 KV-Cache 复用的测试平台
KV-Repurpose: A Testbed for Evaluating Non-Prefix KV-Cache Reuse
AI 导读
基于 vLLM 的开源系统 KV-Repurpose 发布，用于开发和评估超越精确前缀的按段 KV-cache 复用。在 20% 请求共享固定前缀的 Zipfian RAG 负载下，30 GB 缓存容量时其 token 级缓存命中率达 63.9%，而前缀缓存仅 3.3%；即使缓存容量扩至 1 TB，前缀缓存命中率也只有 17.9%。代码以 Apache-2.0 许可开源。
来源：arXiv cs.CL · arxiv.org