arXiv cs.CL· Daniel Robert Kling Alexander, Catherine Louise Kling·· 4 小时前AI 评分24
没有标准答案如何评估语言模型：陈述偏好经济学给 LLM 评测的启示
Validity Without Ground Truth: What Stated-Preference Economics Offers the Evaluation of Language Models
AI 导读
研究者提出用陈述偏好经济学的效度框架评估大语言模型，涵盖内容效度、构念效度、效标效度、信度、激励相容与后果性等概念。他们用一项已发表的水质陈述偏好经济价值调查测试六个模型，以经济理论预测作为效度检验：需求曲线应向下倾斜，支付意愿应随商品范围与收入变化。
来源：arXiv cs.CL · arxiv.org