研究称冻结规则即可答对MemoryAgentBench八成冲突题

有研究者对 MemoryAgentBench 冲突解决分片的评测提出质疑。Egor Pakhomov 与 Erik Nijkamp 发表的论文称，把该分片的官方规则——关于某事实的最新陈述获胜——实现为一个冻结在四份事实列表之一上、不做任何学习的解析器，在官方指标下能答对 80.25% 的题目，在三份留出列表上为 74.5%。 该分片原本被理解为衡量“选择性遗忘”能力，论文的结论是这一分数可能并未反映模型的学习或记忆能力。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。