arXiv cs.CL· Shuhao Li, Fanghua Ye, Wanyu Lin, Tianyu Yuan, Xiaoyu Shen·· 9 小时前AI 评分22
Nucleus Speculative Decoding：超越精确分布的合理性感知验证
Nucleus Speculative Decoding: Plausibility-Aware Verification Beyond Exact Distribution
AI 导读
研究者提出 Nucleus Speculative Decoding（NSD），一种将目标模型合理性纳入验证的宽松投机解码方法：草稿 token 满足标准接受规则或落入目标模型 nucleus 即被接受。实验显示 NSD 相比自回归解码吞吐最高提速 5.16×，相比标准投机解码最高提速 3.15×，同时保持有竞争力的任务表现，并带来更长的接受长度。
来源：arXiv cs.CL · arxiv.org