研究发布SafeActBench基准揭示智能体失败模式

Hongzhan Lin等作者提出并发布基准SafeActBench及证据账本评估方法，用于评估工具调用智能体在“证据到行动”链条上的失败模式。该基准包含656个案例，覆盖六个操作领域和五种协议，从静态动作判断、调查后不行动，逐步推进到单动作和多动作工作流。 研究在十种模型-框架配置中发现：智能体的静态动作评估能力较强，但交互式执行明显偏弱。失败常发生在执行之前——智能体调查不完整便停止，或在所需证据建立前就行动；一旦证据齐备，单动作执行通常可靠，而多动作工作流则暴露出未解决的前置条件和执行不完整的问题。

AI 根据报道生成 · 7 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。