arXiv cs.LG· Bing Liu, Wenjie Zhou, Chengcheng Zhao, Hongtao Zhang, Boao Kong, Felix Dangel, Wu Lin·· 5 小时前AI 评分22
Bregman 散度如何塑造 Shampoo 优化器
How Bregman Divergences Shape Shampoo
AI 导读
研究提出统一 Bregman 散度框架，将 Shampoo 优化器中 Frobenius、KL 等散度选择纳入同一视角联合分析。通过梯度二阶矩的谱分析发现，部分散度能更好补偿有限样本下二阶矩的低估，解释了不同 Shampoo 变体的行为差异，并在 GPT-2 预训练实验中验证。
来源：arXiv cs.LG · arxiv.org