arXiv cs.LG· Mingyuan Zhang, Yue Bai, Zhongruo Wang, Yupin Huang, Yiyang Huang, Hailing Wang, Huimin Zeng, Yun Fu·· 9 小时前AI 评分22
MASKerade：面向稠密到 MoE 升级的 Token 路由掩码专家
MASKerade: Token-Routed Mask Experts for Dense-to-MoE Upcycling
AI 导读
MASKerade 是一种稠密到 MoE 训练方法，将专家学习为冻结预训练 FFN 的稀疏子网络，每个专家由学习到的二值掩码定义，并由 token 级路由器选择执行与组合，路由器和掩码分数联合优化而 FFN 权重保持不变。
来源：arXiv cs.LG · arxiv.org