跳到正文
热点事件持续更新

研究者提出ResearchFlow-Eval评估框架

1 篇报道1 个报道来源6 小时前更新

先了解这件事

AI 综述

Peng Jiang等研究者提出ResearchFlow-Eval,一个在阶段与主张两个层级评估自动研究系统连续科学执行与迭代的细粒度框架。该框架以已发表论文为锚点,为每个研究阶段生成评分细则,并应用于通用智能体框架、技能增强框架及研究专用编排系统。 结果显示,所有被评估系统的实验执行均落后于设计与规划,重复尝试很少带来可测量的改进,技能增强与研究专用编排也未能可靠提升分数。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月15日
  1. arXiv cs.LG
    ResearchFlow-Eval:追踪端到端多主张自动研究中的执行鸿沟

    针对自动研究系统评测多停留在孤立任务或最终产物的问题,研究者提出 ResearchFlow-Eval,一个在阶段与主张两个层级评估连续科学执行与迭代的细粒度框架。该框架以已发表论文为锚点,为每个研究阶段生成评分细则,并应用于通用智能体框架、技能增强框架及研究专用编排系统。结果显示,所有系统的实验执行均落后于设计与规划,重复尝试很少带来可测量的改进,技能增强与研究专用编排也未能可靠提升分数。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。