S³R自稀疏推测解码加速RL rollout
热点事件持续更新
S³R自稀疏推测解码加速RL rollout
1 篇报道1 个报道来源1 小时前更新
先了解这件事
AI 综述
研究者 Yuhang He 等提出自稀疏投机 rollout（S³R），用于加速长上下文 RLVR 中的自回归解码。该方法用稀疏注意力提议 token，再经全注意力验证与精确投机采样生成响应；草稿与验证共享同一策略参数，因此无需单独训练或更新 drafter。 在 Qwen3 长上下文数学推理任务上，S³R 的端到端训练吞吐量达到自回归 rollout 的 1.39×–1.35×，任务性能相当。
AI 根据报道生成 · 55 分钟前更新
最新进展10月12日 12:00
S³R：通过自稀疏投机解码实现快速且忠实的 RL rollout报道时间线
沿着报道，了解事件的不同侧面。
10月12日
- arXiv cs.CLS³R：通过自稀疏投机解码实现快速且忠实的 RL rollout
针对长上下文 RLVR 中注意力占自回归解码核时间 72–76% 的问题，研究者提出自稀疏投机 rollout（S³R）：用稀疏注意力提议 token，再经全注意力验证与精确投机采样生成响应，草稿与验证共享同一策略参数，无需单独训练 drafter。在 Qwen3 长上下文数学推理任务上，S³R 端到端训练吞吐量达到自回归 rollout 的 1.39×–1.35×，任务性能相当。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。