跳到正文
arXiv cs.CL· Xurui Song, Shuo Huai, JingJing Jiang, Jiayi Kong, Jun Luo·· 3 小时前AI 评分32

研究揭示 VLM 驾驶模型推理与规划脱节:DriveMind 数据集与诊断工具发布

More Than Meets the Eye? Uncovering the Reasoning-Planning Disconnect in Training Vision-Language Driving Models

AI 导读

研究者构建了基于 nuPlan 的大规模驾驶 VQA 数据集 DriveMind,用于检验 VLM 驾驶智能体的规划是否真正由自然语言推理驱动。实验发现,移除 ego/导航先验会导致规划分数大幅下降,而移除 CoT 仅带来微小变化,注意力分析也显示规划主要关注先验而非 CoT。团队据此提出推理-规划解耦假说,并发布一种免训练探针,通过输入扰动评估智能体对先验的依赖程度。

来源:arXiv cs.CL · arxiv.org