微调可提升语言模型概率校准采样能力

研究者 Davide Baldelli 等人在 arXiv 发表研究，提出概率校准是语言模型可通过微调训练的能力。他们在合成数学分布提示词上微调模型，比较软目标（trie 派生下一 token 目标）与硬目标两种校准微调方法。 在覆盖四个模型家族的 12 个模型上，两种方法均显著提升了对未见分布家族和未见过参数设置的结构化采样保真度，并迁移至开放式随机生成等基准，微调后模型首 token 支持范围扩大一到两个数量级。 研究同时指出，收益有时会削弱下游能力，尤其是算术推理，代价因模型而异。

AI 根据报道生成 · 53 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。