语言模型logit几何结构研究

一项新研究提出，自回归语言模型每一步预测产生的词表级 logit 向量，其有序 logit 与排名呈稳定的对数线性关系 z_(r) ≈ μ - α log r，该规律跨预测上下文、架构和规模一致，并在预训练中逐步显现。 作者称，受控次序统计基线可解释这一对数线性几何，但无法解释斜率 α 的系统性偏移：训练后模型 α 约为 1.4–1.7，远高于初始化基线的约 0.2。α 与预测性能相关，作者认为其捕捉了超越极值效应的学习结构。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。