arXiv cs.LG· Mengqi Guo, Zhe Wei, Yuan Yuan, Jiunn Bin Lim, Boyi Pan, Michael Bi Mi·· 7 小时前AI 评分22
DuoRate：面向 MoE 推理的按专家双速率精度分配方案
DuoRate: Two-Rate Per-Expert Precision Allocation for Mixture-of-Experts Serving
AI 导读
DuoRate 为 MoE 模型推理提出按专家双速率精度分配方案，区分存储与解码两种速率，解决已发布分配器只约束存储的问题——BitsMoE checkpoint 中 2.54 bpw 存储会变成 7.50 bpw 解码流量。
来源：arXiv cs.LG · arxiv.org