研究揭示Bregman散度如何塑造Shampoo预条件

一项新研究提出统一的Bregman散度框架，把Shampoo优化器中的Frobenius、KL等散度选择纳入同一视角联合分析，以解释不同Shampoo变体的行为差异。 研究通过梯度二阶矩的谱分析发现，部分散度能更好补偿有限样本下二阶矩的低估，并在GPT-2预训练实验中进行了验证。作者称，此前散度选择如何影响预条件尚不明确，阻碍了进一步改进。

AI 根据报道生成 · 7 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。