arXiv cs.AI· Chengyang Shi, Xianglin Ji, Jintao Huang, Jicheng Wang, Yifeng He, Jiachen Liu·· 1 天前AI 评分32
OEB（Open-Endedness Bench）：从智能体执行记录评测其认知过程
Open-Endedness Bench: Measuring Epistemic Process from Agent Records
AI 导读
研究者提出 OEB（Open-Endedness Bench），一种只读取智能体执行记录、不依赖参考答案或结果分数的基准方法，将记录编译为认知事件图，从证据、实验、修正、无奖励黑客四个维度打分。在三个基准的 12 项任务、119 次已有运行中，智能体声称的改进只有 16-29% 属实；10 项任务中有 9 项的最佳运行在后半程尝试了更多新想法。
来源：arXiv cs.AI · arxiv.org