跳到正文
arXiv cs.AI· Bofan Xie, Chaokun Wang, Guanchen Ge, Songyao Wang, Fang Niu, Hang Zhang, Wei Wang·· 8 小时前AI 评分36

Bemula:LLM 智能体记忆遗忘基准测试

Can Agents Forget When Asked? A Benchmark for Memory Unlearning in LLM Agents

AI 导读

研究者提出 Bemula,首个专门评测 LLM 智能体记忆遗忘能力的基准,包含 50 个多轮对话实例、6 类共 135 条遗忘请求和 1742 道测试题。在 6 个主流记忆系统与 3 个 backbone LLM 上评测,没有任何系统端到端通过超过 1.5% 的遗忘请求,多数系统一条都未通过。

来源:arXiv cs.AI · arxiv.org