arXiv stat.ML· Tim Tsz-Kit Lau, Weijie Su·· 5 小时前AI 评分24
面向优化器设计的对称兼容原则：嵌入、LM Head、SwiGLU MLP 与 MoE 路由
Symmetry-Compatible Principle for Optimizer Design: Embeddings, LM Heads, SwiGLU MLPs, and MoE Routers
AI 导读
研究提出优化器设计的对称兼容原则，即梯度更新规则应在对应权重块的对称群下保持等变性，并据此为嵌入与 LM Head 矩阵、SwiGLU MLP 投影和 MoE 路由矩阵推导出匹配各自对称群的更新规则。
来源：arXiv stat.ML · arxiv.org