TreeGraft多草稿树状推测解码框架发布

Jiaming Fan 等人提出 TreeGraft，一个面向树状投机解码的多草稿模型框架。其做法是让不同成本的 drafter 共同构建一棵共享草稿树，再由强 drafter 对候选路径重打分，并恢复被弱 drafter 遗漏的候选路径，同时非破坏性地整合强 drafter 的扩展。 该框架针对的是单草稿模型在树状推测解码中的局限，目前公开信息为 arXiv cs.CL 上的一手论文，尚未见实际部署或性能对比结论。

AI 根据报道生成 · 3 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。