arXiv cs.AI· Vardhan Dongre, Joseph Hsieh, Viet Dac Lai, Seunghyun Yoon, Trung Bui, Dilek Hakkani-T\"ur·· 12 小时前AI 评分36
当注意力关闭：LLM 如何在多轮交互中丢失线索
When Attention Closes: How LLMs Lose the Thread in Multi-Turn Interaction
AI 导读
研究提出"通道转换"机制解释 LLM 多轮交互中的指令遗忘：目标定义 token 通过注意力变得难以访问，但目标信息可能保留在残差表示中。团队提出 Goal Accessibility Ratio（GAR）指标，结合滑动窗口消融与残差流探针，在 Mistral 上强制关闭注意力通道后，20 项事实回忆任务准确率从接近满分跌至 11%，人格约束违规率超过对抗压力基线。
来源：arXiv cs.AI · arxiv.org