跳到正文
热点事件持续更新

RealityBench:用Blender评测VLM记录体力工作

1 篇报道1 个报道来源4 小时前更新

先了解这件事

AI 综述

研究者构建了 RealityBench,在 Blender 中模拟屋顶光伏安装、车辆维修等 11 种真实体力工作环境,用来评测视觉语言模型判断画面能否作为工作凭证、以及理解任务状态的能力。 在 26 个视觉语言模型上的测试显示,顶尖模型在画面内文字类记录任务上表现良好,但读取测量值、判断小零件与空间关系(如卷尺是否倾斜)时较弱。研究者称,最佳模型的可接受性判断与单个人类评分者难以区分,成本也在人工单次通过范围内。

AI 根据报道生成 · 3 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月15日
  1. arXiv cs.CL
    RealityBench:用 Blender 模拟环境评测视觉语言模型记录人类体力工作的能力

    研究者构建了 RealityBench,在 Blender 中模拟屋顶光伏安装、车辆维修等 11 种真实体力工作环境,评测视觉语言模型判断画面能否作为工作凭证及理解任务状态的能力。在 26 个视觉语言模型上测试发现,顶尖模型在画面内文字类记录任务上表现良好,但读取测量值、判断小零件与空间关系(如卷尺是否倾斜)时较弱;最佳模型的可接受性判断与单个人类评分者难以区分,成本也在人工单次通过范围内。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。