跳到正文
arXiv cs.AI· Yue Zhao, Zixiang Xu, Angela Huyue Zhang, S. Alex Yang, Xiyang Hu·· 8 小时前AI 评分31

agent-risk:面向 AI 智能体变更的风险评估框架

agent-risk: Risk Assessment for Changes to AI Agents

AI 导读

研究者提出 agent-risk,用于在修改已部署 AI 智能体(如更严格的安全门、更换模型)前,基于现有日志评估变更风险。在 bash 沙箱中,仅凭 7,200 条 episode 日志无法判定两个重试门,而从保存状态重跑各门被拦截的 episode,以实时测试一半的智能体调用量即复现两个线上决策。缺少逐步危害记录时,停止门的认证危害上限最高上升 2.5 倍。

来源:arXiv cs.AI · arxiv.org