跳到正文
热点事件持续更新

SpecFit:卸载MoE推理的草稿子树选择方法

1 篇报道1 个报道来源7 小时前更新

先了解这件事

AI 综述

Hongliang Cao 等作者提出并发布 SpecFit,一种面向卸载式 MoE 推理的草稿子树选择方法。它不追求草稿 token 的接受长度,而是选择已验证的草稿子树以最大化预测吞吐量,并根据草稿路径概率估算提交 token 数,利用专家激活并集的单调子模覆盖特性预测周期时间,在每次草稿层级后运行精确搜索,同时决定何时停止草稿。 作者称,在 Qwen3-30B-A3B 上,SpecFit 的解码速度比 EAGLE-3 快 21.6% 和 7.0%,比原生 EAGLE-3 快 1.97 倍和 1.72 倍。代码已开源。

AI 根据报道生成 · 1 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月15日
  1. arXiv cs.AI
    SpecFit:在卸载式 MoE 推理中,并非所有草稿 token 代价相同

    SpecFit 通过选择已验证草稿子树来最大化预测吞吐量,而非追求接受长度,在 Qwen3-30B-A3B 上解码速度比 EAGLE-3 快 21.6% 和 7.0%,比原生 EAGLE-3 快 1.97 倍和 1.72 倍。该方法根据草稿路径概率估算提交 token 数,并利用专家激活并集的单调子模覆盖特性预测周期时间,每次草稿层级后运行精确搜索同时决定何时停止草稿。代码已开源。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。