arXiv cs.CL· Yuhang He, Hongyu Ge, Zihan Lin, Siyi Liu, Yongqi Zhang·· 2 小时前AI 评分27
S³R：通过自稀疏投机解码实现快速且忠实的 RL rollout
S$^3$R: Fast and Faithful RL Rollouts via Self-Sparse Speculative Decoding
AI 导读
针对长上下文 RLVR 中注意力占自回归解码核时间 72–76% 的问题，研究者提出自稀疏投机 rollout（S³R）：用稀疏注意力提议 token，再经全注意力验证与精确投机采样生成响应，草稿与验证共享同一策略参数，无需单独训练 drafter。在 Qwen3 长上下文数学推理任务上，S³R 端到端训练吞吐量达到自回归 rollout 的 1.39×–1.35×，任务性能相当。
来源：arXiv cs.CL · arxiv.org