跳到正文
arXiv cs.CL· Egor Pakhomov, Erik Nijkamp·· 4 小时前AI 评分32

MemoryAgentBench 冲突解决分数被质疑:冻结的最后写入规则即可答对 80.25%

Bookkeeping, Composition, or Unreachable Gold? Reading MemoryAgentBench's Conflict-Resolution Scores Against a Frozen Last-Write Resolver

AI 导读

研究者将 MemoryAgentBench 冲突解决分片的官方规则——关于某事实的最新陈述获胜——实现为冻结在四份事实列表之一上的零学习解析器,在官方指标下答对 80.25% 的题目,三份留出列表上为 74.5%。

来源:arXiv cs.CL · arxiv.org