研究：最优优化器随批量大小变化

一项新研究指出，语言模型预训练的最优优化器会随 batch size 变化，即便经过大量超参数调优也是如此，因此仅凭单一 batch size 对自适应优化器做基准测试并不可靠。 研究还称，Muon 没有能在各种训练设置下一致生效的缩放规则，这挑战了“最优优化器在不同 batch size 下保持不变”的假设。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。