arXiv cs.AI· Liulei Zhang, Dejing Zhou, Chuyue Huang, Guanhua Chen, Yutong Yao, Lidia S. Chao, Chi Man Vong, Derek F. Wong·· 3 小时前AI 评分24
自动化研究如何评估？一篇基准与评估实践综述
How Is Automated Research Evaluated? A Survey of Benchmarks and Evaluation Practices
AI 导读
一篇被 AACL-IJCNLP 2026 Findings 接收的综述系统梳理了自动化研究系统的评估设计，覆盖文献综述、研究构思、可执行工作流、学术写作与传播、自动同行评审、端到端研究六个目标。该综述比较了任务构建、证据来源、评估者与评分流程，并指出输出检查、过程检查与人类研究提供互补信息，评估者校准需针对具体被评估属性，资源预算与尝试选择是解读性能对比的关键。
来源：arXiv cs.AI · arxiv.org