跳到正文
arXiv cs.AI· HyunJoon Jung, William Na·· 9 小时前AI 评分31

LLM 智能体评审的分数与覆盖度为何脱钩:一项基于 960 次会话的研究

Logarithmic Scores, Power-Law Discoveries: Disentangling Measurement from Coverage in Agent-Based Evaluation

AI 导读

基于 960 次会话、2 组模型对和 15 项任务的实验显示,基于人格设定的 LLM 智能体评审在 Turing 式验证中给出的评价与人类评分者难以区分。研究进一步发现分数与覆盖度脱钩:质量分数随评审团规模呈对数增长,而独立问题发现遵循次线性幂律,分数饱和速度约为发现速度的两倍。消融实验证实,这种扩展特性依赖结构化人格设定而非简单提示词。

来源:arXiv cs.AI · arxiv.org