arXiv cs.LG· Sietse Schelpe·· 2 小时前精选AI 评分62
galahad-kv 实现 5000 万 token 长期记忆：加载比重算更快更省电
Real Long-Term Memory for AI: A 50-Million-Token Window That Is Faster and Cheaper Than Recompute
AI 导读
研究测试了公开包 galahad-kv 的记忆层，将每块约 16000 token 的 KV 状态以字节级精确存入加密本地 NVMe 磁盘，之后直接加载而无需重算。
推荐理由
论文给出 5000 万 token 记忆层的实测协议与单卡复现路径，可据此判断 KV 状态复用与重算的成本差异。
来源：arXiv cs.LG · arxiv.org