研究：最佳优化器取决于 batch size，Muon 缩放规则不通用

一项研究挑战了"最优优化器在不同 batch size 下保持不变"的假设，指出 Muon 没有能在各种训练设置下一致生效的缩放规则，且语言模型预训练的最佳优化器会随 batch size 变化，即便经过大量超参数调优也是如此。该研究认为，仅凭单一 batch size 对自适应优化器进行基准测试的做法并不可靠。