研究：类型化决策护栏易受选项通道攻击

一项 arXiv 研究提出并评估了针对智能体护栏的“选项通道攻击”：护栏模型在提示注入、越狱和有害内容筛查中，允许或阻止决策的准确率仅为 36% 至 72%，而随机水平为 50%。 在合成智能体工具调用测试中，六行与策略无关的服务器日志文本可将某护栏的 fail-open 率从 0% 提升至 63%；若给宽松选项起一个误导性名称，四款将标签纳入输入的模型 fail-open 率升至 93% 至 100%。作者为 Seyedarmin Azizi、Erfan Baghaei Potraghloo 和 Massoud Pedram。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。