arXiv cs.LG· Zachary Broveak, Christian Kubicka, Thierry Tambe·· 7 小时前AI 评分22
Spectral-MoE：稠密到 MoE 转换中的逐层异构专家利用率
Spectral-MoE: Heterogeneous Per-Layer Expert Utilization in Dense-to-MoE Conversion
AI 导读
Spectral-MoE 提出在稠密到 MoE 转换中按层异构分配专家利用率预算，包含跨 token 共享单一标量的静态方案和逐 token 生成调度的动态方案。
来源：arXiv cs.LG · arxiv.org