RelayMoE：面向分布式 MoE 训练的内存高效专家路由

RelayMoE 是一种基于环结构的 MoE 执行模型，通过让专家权重或 token 在环上流转并本地计算，避免构建完整的 top-k 扩展调度缓冲区。在 30B–57B 生产级 MoE 模型上，单层实验较 Megatron-LM 平均提速 2 倍，全模型训练吞吐最高提升 2.02 倍，可训练序列长度最高扩展 2.85 倍。