arXiv cs.CL· Shuxuan Li, Jialiang Kang, Yanghao Zhou, Ziye Zhu, Xiao Yang·2026-10-15 12:00· 5 小时前AI 评分29

FOLD：面向长上下文投机解码的免位置远记忆方法

FOLD: Position-Free Far Memory with Local Order for Long-Context Speculative Decoding

AI 导读

FOLD 是一种免训练的长上下文投机解码方法，保留精确的局部位置，并将所有远距离条目视为共享同一位置的远记忆。在六组目标-草稿模型组合、最高 256K token 的基准测试中，FOLD 大多取得最高加速，最佳情况下相对自回归解码的加速比从 2.08 倍提升至 4.22 倍。

来源：arXiv cs.CL · arxiv.org