跳到正文
arXiv cs.AI· Huihao Jing, Shaojin Chen, Wenbin Hu, Yuxuan Liu, Haochen Shi, Zhongwei Xie, Haoran Li, Yangqiu Song·· 8 小时前AI 评分31

同一操作,不同权限:评估 Guardrails 是否遵循授权

Same Operation, Different Permission: Evaluating Whether Guardrails Honor Authorization

AI 导读

研究者提出基准 \bench{},用专家标注的自然语言场景与已执行验证的操作,检验 Guardrails 能否在阻止未授权操作的同时放行有合法权限的同一操作。实验发现许多被阻止的操作源于审查失败而非正确拒绝;修复输出格式可恢复可用决策但改变被放行的授权请求,增加第二名审查者能消除部分错误却会拒绝有效授权。

来源:arXiv cs.AI · arxiv.org