白化预条件改善LLM训练副本扩展

一项 arXiv 研究指出，在 LLM 分布式训练中，副本扩展通常导致性能单调下降，而内层优化器的选择是关键。Eugene Belilovsky 等作者识别出两个影响因素：伪梯度的协方差结构，以及 batch size 对伪梯度噪声尺度的影响。 作者称，基于白化的预条件是一种有效的内层优化器特性，在 8 至 96 个副本范围内实现强副本扩展；随着参数与数据规模扩大，其相对数据并行（DP）的性能持续改善。这些结论来自该研究的理论与实验，尚未经独立验证。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。