arXiv cs.AI· Hongliang Cao, Xiuyu Li, Siqi Wang, Ziming Wang, Jingmin Zhu, Hailong Yang·· 8 小时前AI 评分22
SpecFit：在卸载式 MoE 推理中，并非所有草稿 token 代价相同
SpecFit: Not All Draft Tokens Cost the Same in Offloaded MoE Inference
AI 导读
SpecFit 通过选择已验证草稿子树来最大化预测吞吐量，而非追求接受长度，在 Qwen3-30B-A3B 上解码速度比 EAGLE-3 快 21.6% 和 7.0%，比原生 EAGLE-3 快 1.97 倍和 1.72 倍。该方法根据草稿路径概率估算提交 token 数，并利用专家激活并集的单调子模覆盖特性预测周期时间，每次草稿层级后运行精确搜索同时决定何时停止草稿。代码已开源。
来源：arXiv cs.AI · arxiv.org