arXiv cs.CL· Bohan Sun, Zunhai Su, Xialie Zhuang, Jianjin Li, Ngai Wong, Chuan-Wei Kuo·· 5 小时前AI 评分24
ReaDy：用循环状态做动态上下文，为混合线性注意力大模型加速投机解码
ReaDy: Recurrent States as Dynamic Context for Speculative Drafting in Hybrid Linear Attention Large Language Models
AI 导读
ReaDy 是首个利用混合线性注意力（HLA）模型循环状态进行投机解码的方法，为每个草稿位置配备可学习 query，从目标模型已提交的循环状态中检索位置相关的补充上下文。
来源：arXiv cs.CL · arxiv.org