跳到正文
arXiv cs.AI· Nitish Kumar, Prateik Pothuneedi, Greg Bandak·· 8 小时前AI 评分27

LLM 评审该看什么、看多少:一项关于评审盲点的解剖研究

The Anatomy of a Blind Spot: What an LLM Judge Must Be Shown, and How Much

AI 导读

一项在七个公开基准上的研究发现,LLM 评审被展示的内容比评审模型本身更关键,即便三个评审模型价格相差 10 至 17 倍。当系统依据未看到必要约束的评审反馈修改答案时,指令遵循与问答表现反而低于起点,且指令遵循的损失随轮次累积。研究还发现约十分之一的原文承担了几乎全部作用,小型蕴含图在定位有据文本错误上可媲美 LLM 评审。

来源:arXiv cs.AI · arxiv.org