研究者推出编码智能体风险处理评测基准ParanoiaEval

研究者 Hanjun Luo 等人发布 ParanoiaEval，称其为首个统一评测编程智能体风险处理能力的基准。该基准基于软件工程风险管理的 Avoidance-Transfer-Mitigation-Acceptance 框架，包含 200 个证据受控的仓库级任务对。 在 8 个代表性模型上的实验显示，即便有明确证据，仍有 11.2%-58.7% 的运行出现不必要的风险处理；研究还发现，更强的任务能力并不保证更恰当的风险处理。

AI 根据报道生成 · 3 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。