arXiv cs.CL· Davide Baldelli, Sruthi Kuriakose, Maryam Hashemzadeh, Amal Zouaq, Sarath Chandar·· 2 小时前AI 评分32
语言模型的概率校准是一种可通过微调训练的能力
Probabilistic Calibration Is a Trainable Capability in Language Models
AI 导读
研究者在合成数学分布提示词上微调语言模型，比较了软目标（trie 派生下一 token 目标）与硬目标两种校准微调方法。在覆盖四个模型家族的 12 个模型上，两种方法均显著提升了对未见分布家族和未见过参数设置的结构化采样保真度，并迁移至开放式随机生成等基准，微调后模型首 token 支持范围扩大一到两个数量级。收益有时会削弱下游能力，尤其是算术推理，代价因模型而异。
来源：arXiv cs.CL · arxiv.org