arXiv cs.AI· Haoyu Liu, Dingcheng Li, Lukas Rutishauser, Zeyu Zheng·· 9 小时前AI 评分27
DMAST：双模态多阶段对抗安全训练让多模态 Web Agent 抵御跨模态攻击
Dual-Modality Multi-Stage Adversarial Safety Training: Robustifying Multimodal Web Agents Against Cross-Modal Attacks
AI 导读
针对多模态 Web Agent 双流架构易被 DOM 注入同时污染截图与无障碍树的问题，研究者提出双模态多阶段对抗安全训练框架 DMAST，将智能体与攻击者建模为双人一般和马尔可夫博弈并分三阶段协同训练。在 MiniWob++ 上，含视觉组件的攻击效果远超纯文本注入；在分布外任务上 DMAST 将攻击成功率从 41.2% 降至 21.4%，任务完成率相对提升超 60%（6.2%→10.2%）。
来源：arXiv cs.AI · arxiv.org