arXiv cs.CL· Yirui Zhang, Yash Raj Shrestha·· 5 小时前AI 评分41
研究：LLM 流水线中评审很少胜过更强模型，验证与能力迁移被混淆
Review Rarely Beats the Stronger Model: Separating Verification from Capability Transfer in LLM Pipelines
AI 导读
对 12 个开源模型（3B 至 72B）组成的 48 对组合测试显示，在数学、知识、代码和推理任务中，评审仅在 96 个评审方向中的 9 个胜过更强模型，且能力差距越大表现越差。原因是锚定效应：评审模型大多跟随生成模型的答案，丢弃自身正确答案。评审成本是单独使用更强模型的 2.6 至 2.8 倍，而同样两次调用的选择器比评审高 2.7 至 4.2 分且更便宜。
来源：arXiv cs.CL · arxiv.org