arXiv · ML· Yuhang He, Hongyu Ge, Zihan Lin, Siyi Liu, Yongqi Zhang·· 2026-10-12AI 评分22
S³R:通过自稀疏推测解码实现快速且忠实的大规模强化学习生成
S$^3$R: Fast and Faithful RL Rollouts via Self-Sparse Speculative Decoding
AI 导读
提出S³R方法,利用稀疏注意力生成token,并通过全注意力验证保持响应组遵循稠密策略分布,确保训练稳定性。 在Qwen3模型上,S³R实现端到端训练吞吐量较自回归生成提升1.39至1.35倍,且任务性能相当。 该方法解决了直接稀疏采样导致的训练不稳定问题,无需单独训练或更新草稿生成器。
来源:arXiv · ML · arxiv.org