研究揭示判断模型Jev擅长评估不擅长模拟

一项由Yaodong Yang等作者发表的研究测试了判断模型Jev的能力边界，发现它擅长评估、不擅长模拟。Jev在单次调用中即可为每个选项返回概率，能解出99%的反直觉认知反思测试题，但在需要预测输入中不存在的信息时失败，例如在ALFWorld中会把未洗的刀直接放进抽屉。 研究称，当由代码提供预测或模拟结果时，Jev能凭借通用评估能力成为专家级控制器。测试覆盖反思测试、单次矩阵博弈、文本游戏ALFWorld和机器人控制。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。