跳到正文
arXiv cs.CL· Jihao Zhao, Qianyu Jiang, Shuaishuai Zu, Pengfei Li, Guanghuan Fang, Ben Feng, Biao Qin, Zhibin Wang, Baochuan Yang·· 5 小时前AI 评分25

TreeSpark:为投机解码学习草拟待验证的树结构

TreeSpark: Learning to Draft the Trees You Verify for Speculative Decoding

AI 导读

TreeSpark 是一个统一训练与推理框架,扩展了半自回归 DSpark 架构,通过一次骨干前向构建父条件候选树,并在训练中重放其扩展、剪枝与预算打包过程。在 Qwen3-4B 和 Qwen3-8B 的九个通用基准与六个写作领域上,TreeSpark 相比 DSpark 将平均接受长度提升 23.4% 至 31.6%,单请求吞吐提升 15.1% 至 25.0%。

来源:arXiv cs.CL · arxiv.org