Memory Attention：用 token 记忆替代注意力值投影

研究者提出 Memory Attention（MA），通过将层特定的 token 记忆与上下文 key 结合来构造注意力 value，替代专门的 value 投影。推理时归一化可折叠进记忆表，value 构造简化为查表加加法，token 索引检索还支持 CPU offloading 与预取，减少 GPU 参数存储。在匹配训练 token 预算下，多种注意力配置的语言建模与下游平均表现均有提升。