arXiv · AI· Nilesh Prasad Pandey, Jangseon Park, Jason Kong, Onat Gungor, Tajana Rosing·· 4 小时前AI 评分39
NgramRL：通过Rollout感知的N-gram推测解码加速结构化生成的RL后训练
NgramRL: Accelerating RL Post-Training for Structured Generation via Rollout-Aware N-gram Speculative Decoding
AI 导读
论文提出NgramRL，利用有界最近rollout历史构建per-prompt n-gram drafter，加速RL后训练。 无需辅助模型或持久GPU状态，通过自适应fan-out预取器隐藏CPU查找延迟。 在两个模型家族和三个工作负载上，每步提交3.60-7.77个token，比SuffixDecoding快1.99倍，Spider数据集吞吐量提升1.38倍。
来源：arXiv · AI · arxiv.org