跳到正文
arXiv cs.CV· Jasper Gerigk, Kenzo Aspuru-Takata, Chin-Hsuan Wu, Mohammad Mohammadi, Shuhong Zheng, Igor Gilitschenski·· 3 小时前AI 评分26

让模型不再"走捷径":任务擦除消除 VLA 视觉捷径学习

When Listening Becomes Easier: Scrubbing Visual Cues for Shortcut-Free VLAs

AI 导读

针对 VLA 模型易利用视角、背景等视觉捷径的问题,研究者提出 task scrubbing 领域对抗训练方法,降低模型依赖视觉捷径的概率。实验在仿真和真实环境中覆盖多种 VLA 与视觉线索,显示该方法提升分布外鲁棒性,并常能消除视觉捷径学习。研究还提出无需策略 rollout 的表示层指标 action margin,发现视觉捷径在浅层进入动作表示,不同 VLM 主干对其敏感度差异显著。

来源:arXiv cs.CV · arxiv.org