跳到正文
热点事件持续更新

研究:LLM评审难超更强模型,成本反高

1 篇报道1 个报道来源4 小时前更新

先了解这件事

AI 综述

一项针对12个开源模型(3B至72B)组成的48对组合的研究显示,在数学、知识、代码和推理任务中,让一个模型评审另一个模型的答案,评审仅在96个评审方向中的9个胜过直接使用更强模型,且两者能力差距越大表现越差。研究者Yirui Zhang与Yash Raj Shrestha将原因归结为锚定效应:评审模型大多跟随生成模型的答案,丢弃自己的正确答案。 研究还称,评审的成本是单独使用更强模型的2.6至2.8倍;而同样调用两次的选择器方案比评审高2.7至4.2分,且更便宜。该结论来自arXiv cs.CL上的一手论文。

AI 根据报道生成 · 3 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月15日
  1. arXiv cs.CL
    研究:LLM 流水线中评审很少胜过更强模型,验证与能力迁移被混淆

    对 12 个开源模型(3B 至 72B)组成的 48 对组合测试显示,在数学、知识、代码和推理任务中,评审仅在 96 个评审方向中的 9 个胜过更强模型,且能力差距越大表现越差。原因是锚定效应:评审模型大多跟随生成模型的答案,丢弃自身正确答案。评审成本是单独使用更强模型的 2.6 至 2.8 倍,而同样两次调用的选择器比评审高 2.7 至 4.2 分且更便宜。

本事件热度走势

可比范围当前
9
可比范围峰值
1010月15日 13:00
近 24 小时变化
–

趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。