arXiv cs.CL· Seungone Kim, Jiayi Geng, Young-Jun Lee, Bo Liu, Juyoung Suk, Nicholas Lubbers, Mitchell Wood, Marcus Noack, Yong-Xin Yao, Yuan Shi, Roxana Bujack, Cristina Garcia Cardona, Austin Rodriguez, Ilon Joseph, Woojin Cho, Zora Zhiruo Wang, Chuanyang Jin, Ian Wu, Apurva Gandhi, Tianjian Li, Weiwei Sun, Carolin Lawrence, Kiril Gashteovski, Dongyeop Kang, Jay Shin, Akari Asai, Graham Neubig, Sean Welleck·· 5 小时前AI 评分51
Into the Unknown：面向开放科研问题的 AI 智能体基准发布
Into the Unknown: Benchmarking AI agents on open scientific research problems
AI 导读
研究者提出基准 Into the Unknown，给智能体一篇科学论文和一个研究方向，要求其写出后续论文。他们与美国能源部国家实验室的科学家合作，由后者提供各自工作中未发表的后续方向及投稿必须满足的条件，并据此形成评分标准。
来源：arXiv cs.CL · arxiv.org