研究提出LLM评审暗电流与分层零假设检验

Hiroyasu Usami 等作者发布论文修订版，提出用“暗电流”描述 LLM 评审器对完全相同的两份回答给出非平局偏好的现象，并配套提出分层零假设与效用检验协议，用于评估 LLM-as-a-Judge 的可靠性。 在 102 条预先指定的 RewardBench 2 新样本上，四种“配置—准则”组合均报告 0/102 的克隆偏好。作者称，两个中性效用分支通过检验，但严格效用下界分别为 .539 和 .745，未达到 .75 的工作阈值。 作者说明，上述结论以所声明的配置、固定来源混合、来源标签目标和本研究特定工作模型为条件；效用下界处于边缘水平，子集比率仅为描述性，未获认证并不证明存在缺陷。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。