arXiv cs.LG· Manvi Jha, Zach Zhang, Zhichao Xu, Linbo Liu, Sai Muralidhar Jayanthi, Vinayak Arannil·2026-10-07 12:00· 9 小时前AI 评分29

APEX：更聪明而非更深的推测解码，Qwen3-8B 上最高 5.24 倍加速

APEX: Speculate smarter, not deeper

AI 导读

APEX 是一个学习型控制器，通过请求级专家选择与块级深度自适应来平衡推测解码的速度与草稿 token 浪费。APEX-Router 为每个请求在 EAGLE-3、n-gram 和草稿模型推测之间选择，APEX-Depth 则按验证块调整草稿长度。

来源：arXiv cs.LG · arxiv.org