galahad-kv 测试 5000 万 token 长期记忆
热点事件持续更新
galahad-kv 测试 5000 万 token 长期记忆
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
Sietse Schelpe 测试了公开包 galahad-kv 的记忆层:它把每块约 16000 token 的 KV 状态以字节级精确存入加密本地 NVMe 磁盘,之后直接加载而无需重算。测试在单张 NVIDIA H100 上通过 vLLM 运行,使用 Gemma 4 12B 和 Gemma 4 31B,处理 5000 万 token 的真实公开文本。 该测试称,这是对已存状态的复用,而非扩大注意力窗口:一次只加载一个块,问题回答效果取决于所用模型。写入记忆是一次性开销,存储需要数 TB 本地 NVMe 磁盘。测试协议旨在抵御常见的长上下文基准作弊方式,并提供使用公开软件和该包免费许可的单 GPU 复现。
AI 根据报道生成 · 1 小时前更新
最新进展10月9日 12:00
galahad-kv 实现 5000 万 token 长期记忆:加载比重算更快更省电报道时间线
沿着报道,了解事件的不同侧面。
10月9日
- arXiv cs.LG精选galahad-kv 实现 5000 万 token 长期记忆:加载比重算更快更省电
研究测试了公开包 galahad-kv 的记忆层,将每块约 16000 token 的 KV 状态以字节级精确存入加密本地 NVMe 磁盘,之后直接加载而无需重算。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。