用专家选择偏置解决 MoE 数据不均衡问题

研究提出按输入类别为 MoE 模型注入专家选择偏置，将不同类别的 token 优先路由到专门的专家池，从而在数据不均衡时实现软性的类别对齐专家分工。在最高 10.6B 参数的模型上，该方法在多模态、低资源语言和代码任务上均取得性能提升，最小和最大模型规模的增益分别相当于额外使用 18.5% 和 2.7% 的基线训练 token。