arXiv cs.AI· Peizhuang Cong, Aomufei Yuan, Shimao Chen, Yuxuan Tian, Bowen Ye, Yilun Yao, Tong Yang·· 9 小时前AI 评分13
预测即 MoE 所需：专家负载分布从波动走向稳定
Prediction Is All MoE Needs: Expert Load Distribution Goes from Fluctuating to Stabilizing
AI 导读
研究追踪多个大语言模型训练中每个专家的负载，将"负载明显波动"定义为瞬态、将"时间局部性"定义为稳定态，并用三种经典预测算法实现专家负载预测。在 GPT3 350M 上，预测未来 1,000 步和 2,000 步专家负载比例的平均误差率约为 1.3% 和 1.8%。该工作可为 MoE 模型训练的专家放置与资源分配提供指导。
来源：arXiv cs.AI · arxiv.org