arXiv cs.CL· Zhaoxiang Feng (UC San Diego), Lanxiang Hu (UC San Diego), Haoran Yuan (UIUC), Yu-Yang Qian (Nanjing University), Jihui Yang (Meta), Peng Zhao (Nanjing University), Yibo Zhu (StepFun), Tajana Rosing (UC San Diego), Hao Zhang (UC San Diego)·· 5 小时前AI 评分22
JetSpec++：带自修正的前瞻并行草稿推测解码
JetSpec++: Foresight Parallel Drafting with Self Refinements
AI 导读
UC San Diego 等团队提出推测解码方法 JetSpec++，通过块内自修正、块间前瞻草稿与流水线化草稿-验证三项设计，将草稿成本几乎完全隐藏。相比自回归解码实现最高 7.45 倍加速，比 DSpark 快 1.54 倍，在 GB200 上单请求最高 1,361 tokens/s，七个基准平均接受长度 8.94，且保持目标模型输出分布。代码与模型已开源。
来源：arXiv cs.CL · arxiv.org