跳到正文
arXiv · AI· Saif Punjwani, Micah Goldblum·· 2026-10-08AI 评分40

解耦强化学习中探索与优化的 ExpDis 框架

Decoupling Exploration from Optimization in RLVR

AI 导读

为解决 RLVR 中强新颖性激励导致模型质量下降的问题,该研究提出 Exploration-Distillation(ExpDis)框架。 该框架通过“探索-蒸馏”交替训练解耦探索与优化,在 7 个数学推理基准和 2 个模型族上,ExpDis 在相同墙钟时间预算下优于 DAPO。 其 pass@k 性能提升表明,该模型能生成更多样化的正确解题路径。

来源:arXiv · AI · arxiv.org