DuoRate 提出 MoE 推理双速率精度分配
热点事件持续更新
DuoRate 提出 MoE 推理双速率精度分配
1 篇报道1 个报道来源6 小时前更新
先了解这件事
AI 综述
Mengqi Guo 等作者提交论文，提出面向混合专家（MoE）模型推理的 DuoRate 精度分配方法，将存储速率与解码速率分开处理。作者称，已有分配器只约束存储，导致 BitsMoE checkpoint 中 2.54 bpw 的存储在实际解码时产生 7.50 bpw 的流量。 DuoRate 的做法是“一次存储、按工作负载读取”，即同一份 checkpoint 在存储与解码阶段采用不同的按专家精度。论文称代码将在发表后公开。
AI 根据报道生成 · 2 小时前更新
最新进展10月12日 12:00
DuoRate：面向 MoE 推理的按专家双速率精度分配方案报道时间线
沿着报道，了解事件的不同侧面。
10月12日
- arXiv cs.LGDuoRate：面向 MoE 推理的按专家双速率精度分配方案
DuoRate 为 MoE 模型推理提出按专家双速率精度分配方案，区分存储与解码两种速率，解决已发布分配器只约束存储的问题——BitsMoE checkpoint 中 2.54 bpw 存储会变成 7.50 bpw 解码流量。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。