新正则化方法改善小模型顺序预训练

Mohnish Harwani 与 Yujia Zheng 提出名为 Exposure Therapy（ET）的正则化方法，用于大模型的顺序预训练。作者称，大模型的能力优势部分来自对“首因偏差”的鲁棒性，而小模型会把学习容量低效分配给早期数据分布，导致训练后期出现的代码、数学和推理等能力难以学好；ET 旨在促使学习容量在顺序预训练中更高效地分配。 据作者报告，在十亿参数规模以内的模型上，ET 提升了后期数据分布的表现和整体能力。该结论来自作者自己的研究，尚待独立验证。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。