arXiv cs.AI· Li Nanbo, Firas Laakom, Yilan Zhang, Piotr Pi\k{e}kos, Yimeng Chen, Liangyu Wang, Yifan Xu, Mateusz Ostaszewski, Dandan Guo, Wenyi Wang, Yanning Dai, Yuhui Wang, J\"{u}rgen Schmidhuber·· 8 小时前AI 评分41
NoteBank：为线性注意力模型解锁长上下文能力
History Replays Itself: Unleashing Long-Context Capability in Linear Attention
AI 导读
研究者提出 NoteBank，一种免训练、即插即用的稀疏情景记忆机制，通过原生特征写入与重放读取，让线性注意力模型在不增加外部检索器的情况下恢复长上下文能力。在 100 万 token 下，它将 Gated DeltaNet 在六项 RULER 检索任务上的平均准确率从 1.7% 提升至 70.3%，且 4K 到 1M token 无明显检索退化。
来源：arXiv cs.AI · arxiv.org