跳到正文
热点事件持续更新

galahad-kv 测试 5000 万 token 长期记忆

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

Sietse Schelpe 测试了公开包 galahad-kv 的记忆层:它把每块约 16000 token 的 KV 状态以字节级精确存入加密本地 NVMe 磁盘,之后直接加载而无需重算。测试在单张 NVIDIA H100 上通过 vLLM 运行,使用 Gemma 4 12B 和 Gemma 4 31B,处理 5000 万 token 的真实公开文本。 该测试称,这是对已存状态的复用,而非扩大注意力窗口:一次只加载一个块,问题回答效果取决于所用模型。写入记忆是一次性开销,存储需要数 TB 本地 NVMe 磁盘。测试协议旨在抵御常见的长上下文基准作弊方式,并提供使用公开软件和该包免费许可的单 GPU 复现。

AI 根据报道生成 · 1 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月9日
  1. arXiv cs.LG精选
    galahad-kv 实现 5000 万 token 长期记忆:加载比重算更快更省电

    研究测试了公开包 galahad-kv 的记忆层,将每块约 16000 token 的 KV 状态以字节级精确存入加密本地 NVMe 磁盘,之后直接加载而无需重算。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。