arXiv cs.AI· Shijing Hu, Xuancheng Ren, Zhihui Lu, Pan Zhou·· 3 小时前AI 评分22
树形推测解码为何丢失目标概率：Exit-Guided Speculative Decoding 提出 TEV 与 ExitTrain
Where Draft Trees Lose Target Mass: Exit-Guided Speculative Decoding
AI 导读
针对树形推测解码中 draft 树与目标模型不匹配的问题，研究者提出精确、层级并行的 Tree Exit Verification（TEV），并基于 exit law 给出节点级反馈的 Exit-Guided Draft-Tree Training（ExitTrain）。
来源：arXiv cs.AI · arxiv.org