arXiv cs.AI· Xinnan Dai, Kaiqi Yang, Yaxin Li, Cheng Luo, Wanli Li, Mingqing Xiao, Xinyang Jiang, Daoan Zhang, Kaitao Song, Fengze Liu, Zefan Cai, Caihua Shan·· 8 小时前AI 评分30
Words to World：评估 LLM 在真实物理环境中的闭环交互能力
Words to World: Benchmarking LLMs in Interactive Physical Environments
AI 导读
研究者提出 Words to World 基准，让 LLM 通过连接机械臂、摄像头和传感器的 harness 系统在真实物理环境中完成闭环交互任务，模型需发出指令、接收物理反馈、解读状态并调整下一步动作。实验显示，代表性 LLM 在将语言推理转化为物理行动时存在幻觉状态变化、异常结果恢复能力差、长程规划不稳定等常见失败模式。
来源：arXiv cs.AI · arxiv.org