arXiv cs.AI· Yanis Merzouki, Coral Izquierdo, Matei Ignuta-Ciuncanu, Marcos Gomez-Bracamonte, Riccardo Maggioni, Alessandro Lombardi, Camilla Mazzoleni, Federico Martelli, Balazs Gunther, Jonas Petersen, Philipp Petersen·· 5 小时前AI 评分27
FactoryBench：评估工业机器理解能力
FactoryBench: Evaluating Industrial Machine Understanding
AI 导读
研究者推出 FactoryBench，一个面向工业机器人遥测数据的机器理解基准，包含超 7 万条 Q&A，覆盖状态、干预、反事实、决策四个因果层级和五种答案格式。配套发布来自 UR3 协作机器人与 KUKA KR10 工业机械臂的多任务传感器数据集 FactoryWave。六款前沿 LLM 零样本评测中，无模型在结构化层级超过 50%，决策任务不超过 18%。
来源：arXiv cs.AI · arxiv.org