arXiv cs.LG· Yunkai Chai, Tong Zhu, Xiaoye Qu, Xuyang Hu, Guanjie Chen, Qipeng Guo, Yu Cheng·· 3 小时前AI 评分22
平滑稀疏 MoE 的 Top-k 专家边界：Elastic Expert Routing 提出
Smoothing the Top-k Exposure Boundary for Sparse Mixture-of-Experts
AI 导读
针对稀疏 MoE 中静态 top-k 路由将连续路由分布变成刚性阶跃函数的问题，研究者提出 Elastic Expert Routing，从以 k 为中心的局部离散分布中随机采样活跃专家预算，在保持推理预算的同时匹配确定性训练的期望计算成本。
来源：arXiv cs.LG · arxiv.org