arXiv cs.LG· Peng Jiang, Dongyang Li, Quanying Liu, Xiaoxuan Jia·· 7 小时前AI 评分31
ResearchFlow-Eval：追踪端到端多主张自动研究中的执行鸿沟
ResearchFlow-Eval: Tracing the Execution Gap in End-to-End Multi-Claim Autoresearch
AI 导读
针对自动研究系统评测多停留在孤立任务或最终产物的问题，研究者提出 ResearchFlow-Eval，一个在阶段与主张两个层级评估连续科学执行与迭代的细粒度框架。该框架以已发表论文为锚点，为每个研究阶段生成评分细则，并应用于通用智能体框架、技能增强框架及研究专用编排系统。结果显示，所有系统的实验执行均落后于设计与规划，重复尝试很少带来可测量的改进，技能增强与研究专用编排也未能可靠提升分数。
来源：arXiv cs.LG · arxiv.org