内层优化器如何影响副本扩展：白化预条件的作用

针对 LLM 分布式训练中副本扩展导致性能单调下降的问题，研究识别出两个关键因素：伪梯度的协方差结构，以及 batch size 对伪梯度噪声尺度的影响。理论与实验表明，基于白化的预条件是一种有效的内层优化器特性，在 8-96 个副本范围内实现强副本扩展，且随参数与数据规模扩大，相对 DP 的性能持续改善。