arXiv cs.CL· Feifei Qian, Xuan Chen, Lixin Cui, Chaoyang Mei, Fanlin Meng, Shuyao Xiao, Ming Cui, Junxi Yin, Lu Bai·· 2 小时前AI 评分22
从结构到效度：机制引导的 LLM 评分标准生成与精炼
From Structure to Validity: Mechanism-Guided Generation and Refinement of LLM Rubrics
AI 导读
研究对 LLM 评分标准设计进行了系统性机制分析，发现结构化组织能构建更全面的评分标准，仅靠语义规范不足以保证有效的标准级判断，复杂分数聚合带来的额外收益有限。基于此提出 ARTS-Hybrid，将自适应树构建与语义优先、响应校准的精炼相结合，在多个基准上同时提升了端到端评估性能和评分标准本身的质量，其生成的评分标准还能为模型优化提供有效信号。
来源：arXiv cs.CL · arxiv.org