arXiv cs.AI· Zihan Fang, Qianru Wang, Haonan An, Zheng Lin, Yiqin Deng, Symeon Chatzinotas, Yuguang Fang·· 9 小时前AI 评分22
FedAlign-MoE：面向移动边缘网络数据异构的联邦 MoE 对齐框架
Federated Mixture-of-Experts Alignment on Mobile Edge Networks under Data Heterogeneity
AI 导读
针对移动边缘设备上 MoE 大语言模型联邦微调中的数据异构问题，研究者提出联邦聚合对齐框架 FedAlign-MoE，通过一致性加权对齐路由分布、分布正则优化本地门控网络，并量化同索引专家的语义一致性以选择性聚合。实验显示，该框架在非 IID 联邦环境下收敛更快、精度更高，且计算轻量、通信高效。
来源：arXiv cs.AI · arxiv.org