arXiv cs.CL· Andrew Perrault (Relantic, Inc., Columbus, OH, USA), Anmol Takiar (Relantic, Inc., Columbus, OH, USA), Dominik Winecki (Relantic, Inc., Columbus, OH, USA), Arnab Nandi (Relantic, Inc., Columbus, OH, USA)·· 5 小时前AI 评分32
RealityBench：用 Blender 模拟环境评测视觉语言模型记录人类体力工作的能力
RealityBench: Simulated Environments to Evaluate a Vision Language Model's Ability to Document Human Physical Work
AI 导读
研究者构建了 RealityBench，在 Blender 中模拟屋顶光伏安装、车辆维修等 11 种真实体力工作环境，评测视觉语言模型判断画面能否作为工作凭证及理解任务状态的能力。在 26 个视觉语言模型上测试发现，顶尖模型在画面内文字类记录任务上表现良好，但读取测量值、判断小零件与空间关系（如卷尺是否倾斜）时较弱；最佳模型的可接受性判断与单个人类评分者难以区分，成本也在人工单次通过范围内。
来源：arXiv cs.CL · arxiv.org