arXiv cs.CL· Wanjing Han, Levi Taiji Li, Mu Zhang, Yue Jiang, Guanhong Tao·· 4 小时前AI 评分54
WebMirage 框架：对抗图像可劫持网页智能体从视觉定位到浏览器执行
Adversarial Images Hijack Web Agents from Visual Grounding to Browser Execution
AI 导读
研究者提出 WebMirage 框架，把视觉定位网页智能体的红队测试建模为从定位到执行的端到端问题，通过局部视觉扰动让智能体选择攻击者控制的内容并执行对应浏览器动作。在 4 种智能体配置、6 个 VLM 骨干、2250 个任务（覆盖 13 个公开网站和一个沙箱基准）上，WebMirage 平均攻击成功率达 91.9%，最强基线为 17.4%，并对三种智能体级防御仍然有效。
来源：arXiv cs.CL · arxiv.org