arXiv cs.LG· Bing Liu, Wenjie Zhou, Chengcheng Zhao, Hongtao Zhang, Boao Kong, Felix Dangel, Wu Lin·· 10 小时前AI 评分22
Bregman 散度如何塑造 Shampoo 优化器
How Bregman Divergences Shape Shampoo
AI 导读
研究提出统一 Bregman 散度框架，将 Shampoo 优化器中 Frobenius、KL 等散度选择纳入同一视角联合分析。通过梯度二阶矩的谱分析发现，部分散度能更好补偿有限样本下二阶矩的低估，解释了不同 Shampoo 变体的行为差异，并在 GPT-2 预训练实验中验证。
来源：arXiv cs.LG · arxiv.org