SpecFit:卸载MoE推理的草稿子树选择方法
热点事件持续更新
SpecFit:卸载MoE推理的草稿子树选择方法
1 篇报道1 个报道来源7 小时前更新
先了解这件事
AI 综述
Hongliang Cao 等作者提出并发布 SpecFit,一种面向卸载式 MoE 推理的草稿子树选择方法。它不追求草稿 token 的接受长度,而是选择已验证的草稿子树以最大化预测吞吐量,并根据草稿路径概率估算提交 token 数,利用专家激活并集的单调子模覆盖特性预测周期时间,在每次草稿层级后运行精确搜索,同时决定何时停止草稿。 作者称,在 Qwen3-30B-A3B 上,SpecFit 的解码速度比 EAGLE-3 快 21.6% 和 7.0%,比原生 EAGLE-3 快 1.97 倍和 1.72 倍。代码已开源。
AI 根据报道生成 · 1 小时前更新
最新进展10月15日 12:00
SpecFit:在卸载式 MoE 推理中,并非所有草稿 token 代价相同报道时间线
沿着报道,了解事件的不同侧面。
10月15日
- arXiv cs.AISpecFit:在卸载式 MoE 推理中,并非所有草稿 token 代价相同
SpecFit 通过选择已验证草稿子树来最大化预测吞吐量,而非追求接受长度,在 Qwen3-30B-A3B 上解码速度比 EAGLE-3 快 21.6% 和 7.0%,比原生 EAGLE-3 快 1.97 倍和 1.72 倍。该方法根据草稿路径概率估算提交 token 数,并利用专家激活并集的单调子模覆盖特性预测周期时间,每次草稿层级后运行精确搜索同时决定何时停止草稿。代码已开源。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。