arXiv cs.AI· Arnav Kundu, Zhaoyang Xu, Bairu Hou, Chang Gao, Reed Li, Tao Lei·· 9 小时前AI 评分29
Apple 提出 Stepped MoE：段级路由实现可配置推理复杂度
Stepped MoE: Segment-Level Routing with Configurable Inference Complexity
AI 导读
Apple 提出 Stepped MoE 框架，将弹性结构与稀疏门控架构结合，让单一模型可在 1、2、3、4 billion 参数间灵活切换，并保持输入自适应路由。该模型在知识密集型基准上比同规模稠密模型准确率高 2-5%，延迟与稠密模型相当，同时通过共享参数节省设备磁盘空间，适配端侧推理的 DRAM 与算力限制。
来源：arXiv cs.AI · arxiv.org