arXiv cs.AI· Qi Cao, Kangning Liu, Xuan Kan, Shunwen Tan, Yang Pei, Dake Chen, Yatai Ji, Zixuan Ye, Yuanpeng Tu, Daniel Li, Junbiao Tang, Pengtao Xie, Zihao He·· 9 小时前AI 评分29
JudgeProfile：理解并引导 LLM 评判者的主观性
JudgeProfile: Understanding and Steering Subjectivity in LLM Judges
AI 导读
研究者提出 JudgeProfile 框架，将 LLM 评判拆解为感知（对清晰度、正确性、细节等属性的比较）与优先级（各属性对最终选择的影响权重）两部分，并构建了含 50,013 对回答、覆盖 17 个公开数据源、21 个 LLM 评判者和 87 个属性的 SubjectiveSet 数据集。
来源：arXiv cs.AI · arxiv.org