arXiv cs.AI· Yubo Li, Ramayya Krishnan, Rema Padman·· 8 小时前AI 评分29
读对却做错:System One 模型在 Agent 循环中的决策失败诊断
Reading Right, Acting Wrong: Diagnosing Decision Failures of System One Models in Agent Loops
AI 导读
研究在冻结的 Agent 决策状态基准上,将每个下一步动作问题与同一状态的事实探针配对独立作答,覆盖模拟环境、客服策略、工具使用、网页导航和编程。在十七个快速系统和一款推理模型上,多数错误动作发生在正确读取之后,且系统越准确,这类错误占比越高。当探针事实可证明决定动作时,读对全部事实的模型仍无法组合它们,而用代码组合模型自身答案可修复该失败。
来源:arXiv cs.AI · arxiv.org