NoteBank：线性注意力长上下文稀疏记忆方法
热点事件持续更新
NoteBank：线性注意力长上下文稀疏记忆方法
1 篇报道1 个报道来源7 小时前更新
先了解这件事
AI 综述
研究者提出 NoteBank，一种免训练、即插即用的稀疏情景记忆机制，让线性注意力模型在不增加外部检索器的情况下恢复长上下文能力。 据论文，在 100 万 token 下，NoteBank 将 Gated DeltaNet 在六项 RULER 检索任务上的平均准确率从 1.7% 提升至 70.3%，且 4K 到 1M token 无明显检索退化。该机制在查询到来前先归档选定文本，写入与寻址使用模型原生特征，并通过重放以原生前向计算读取检索到的证据。
AI 根据报道生成 · 1 小时前更新
最新进展10月15日 12:00
NoteBank：为线性注意力模型解锁长上下文能力报道时间线
沿着报道，了解事件的不同侧面。
10月15日
- arXiv cs.AINoteBank：为线性注意力模型解锁长上下文能力
研究者提出 NoteBank，一种免训练、即插即用的稀疏情景记忆机制，通过原生特征写入与重放读取，让线性注意力模型在不增加外部检索器的情况下恢复长上下文能力。在 100 万 token 下，它将 Gated DeltaNet 在六项 RULER 检索任务上的平均准确率从 1.7% 提升至 70.3%，且 4K 到 1M token 无明显检索退化。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。