arXiv cs.AI· Hanjun Luo, Xiucheng Zhang, Zhuoning Xu, Zhimu Huang, Yingbin Jin, Xinfeng Li, Hanan Salam·· 5 小时前AI 评分32
ParanoiaEval:评测智能体编程中不必要的防御性工作
ParanoiaEval: Benchmarking Unnecessary Defensive Work in Agentic Coding
AI 导读
研究者推出 ParanoiaEval,首个统一评测编程智能体风险处理能力的基准,基于软件工程风险管理的 Avoidance-Transfer-Mitigation-Acceptance 框架,包含 200 个证据受控的仓库级任务对。在 8 个代表性模型上的实验显示,即便有明确证据,仍有 11.2%-58.7% 的运行出现不必要的风险处理,且更强的任务能力并不保证更恰当的风险处理。
来源:arXiv cs.AI · arxiv.org