跳到正文
arXiv cs.CL· Jiangcheng Song, Haodong Jing, Yulin Mu, Lesong Tao, Jixin Wang, Jin Cui, Tianjing Ren, Runxuan Xie, Yongqiang Ma, Nanning Zheng·· 5 小时前AI 评分27

MemDuet:为长上下文推理学习双过程记忆

MemDuet: Learning Dual-Process Memory for Long-Context Reasoning

AI 导读

MemDuet 是一个双过程记忆框架,用小型语言模型做快速并行证据选择(System 1),用大型语言模型按文档顺序做记忆更新验证与重写(System 2),分三阶段训练。在 RULER-HQA、LongBench v2 和 2WikiMultiHopQA 上,MemDuet 相对 RL-MemAgent 平均实现 9.74x 端到端推理加速,输出 token 减少 73.91%。

来源:arXiv cs.CL · arxiv.org