arXiv cs.CL· Xiaoxue Yang, Bozhidar Stevanoski, Matthieu Meeus, Yves-Alexandre de Montjoye·· 2 小时前AI 评分41
在提示词注入防御上线前审计：强对抗攻击揭示的漏洞
Auditing Prompt Injection Defenses Before They Reach Users: What Strong Adversaries Reveal
AI 导读
研究者提出一套审计框架，利用微调过程中的中间检查点作为优化攻击的跳板，在无需发明新攻击的前提下对提示词注入防御进行上线前压力测试。结合 GCG 和 BEAST 等优化攻击，该框架将针对当前最先进防御的攻击成功率从接近零提升至最高 96%，暴露出以往评估遗漏的弱点。结果表明现有评估实践会大幅高估模型鲁棒性，部署前在强对抗条件下审计防御可缩短反馈周期、避免对用户造成实际危害。
来源：arXiv cs.CL · arxiv.org