arXiv cs.CL· Haocheng Yang, Licheng Pan, Yiming Dong, Xiaoxi Li, Yuan Lu, Zhenhao Chen, Jiajun Fan, Shuai Shao, Chunyuan Zheng, Hao Wang·· 5 小时前AI 评分22
重要性感知标准加权（ICW）：为基于评分标准的 LLM 评估引入差异化权重
Not All Criteria Matter: Importance-Aware Criteria Weighting for Rubric-Based LLM Evaluation
AI 导读
针对基于评分标准的 LLM 评估中现有方法对各项标准统一加权、导致次要和重叠标准与关键标准权重相同的问题，研究者提出重要性感知标准加权（ICW），通过 LLM 进行成对重要性比较、检查并修正不一致比较，再从比较矩阵的主特征向量推导权重。实验表明 ICW 持续优于统一加权及竞争性加权方法，并在下游强化学习中转化为更好的策略模型。
来源：arXiv cs.CL · arxiv.org