arXiv cs.AI· Yang Ba, Michelle V. Mancenido, Rong Pan·· 8 小时前AI 评分24
如何评估 LLM-as-a-Judge 的实例级可靠性？SCUR 提出无标签风险估计方法
Can We Trust This Evaluation? Instance-Level Reliability of LLM-as-a-Judge
AI 导读
针对 LLM-as-a-judge 多数投票无法保证单条评测可靠性的问题，研究者提出 SCUR（Structured Cross-fitted Uncertainty Risk），一种基于评审团行为、无需标签的实例级可靠性估计方法。
来源：arXiv cs.AI · arxiv.org