arXiv cs.CL· Joel Dag, Nikit Srivastava, Hamada M. Zahera, Axel-Cyrille Ngonga Ngomo·· 5 小时前AI 评分27
多语言 MoE 如何扩展：语言覆盖范围如何改变容量与算力分配
Scaling Multilingual Mixture-of-Experts: How Language Coverage Changes Capacity and Compute Allocation
AI 导读
研究提出一种感知重复的联合缩放定律，将活跃参数量、每语言训练 token 数、专家数量与语言覆盖范围关联起来，基于 64 个预训练配置的 26,300 条每语言损失观测拟合，在留出配置上预测误差比最强基线降低 28%。
来源：arXiv cs.CL · arxiv.org