研究：Agent失败检测高分多来自结构规律

一项 arXiv 研究指出，LLM 智能体失败检测与归因任务上的大量性能来自无需模型的规律，而非模型能力。作者 Ramesh Arvind Naagarajan 和 Stefan Streif 称，失败运行通常更长，被标注为决定性的步骤往往是最后一步。 据此，一条“总选最后一步”的规则无需读取运行内容，即可在这两项任务上达到 67% 至 96% 的准确率。该结果构成评估此类任务时的结构基线。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。