arXiv cs.AI· Lonnie Tankersley, Noorbakhsh Amiri Golilarz, Soroush Korivand·· 8 小时前AI 评分22
基于硬件感知 LLM-VLM 集成的具身零样本任务规划,实现有物理依据的机器人操作
Embodied Zero-Shot Task Planning via Hardware-Aware LLM-VLM Integration for Grounded Robotic Manipulation
AI 导读
研究者提出一种硬件感知的 LLM-VLM 操作框架,在 NVIDIA Isaac Sim 中对 Franka Research 3 机器人进行仿真验证。该框架将符号推理与度量执行分离:API 托管的 LLM 规划器仅生成符号任务信息,本地 Qwen3-VL 8B VLM 负责语义确认,两者均被禁止输出机器人坐标、抓取姿态或轨迹点,这些交由 MoveIt 2 碰撞检测、逆运动学等确定性模块处理。
来源:arXiv cs.AI · arxiv.org