arXiv · NLP· Wen-Zhi Li, Sainyam Galhotra, Claire Cardie·· 3 小时前AI 评分28
TAR 如何通过自适应重放保持 RLVR 训练中的推理多样性
Preserving Reasoning Diversity in Reinforcement Learning with Verifiable Rewards via Adaptive Replay
AI 导读
针对可验证奖励强化学习（RLVR）削弱大语言模型推理多样性的问题，TAR 框架通过构建基模型解法记忆库并在行为受抑制时进行选择性重放，有效缓解了该现象。 该方法在六个数学推理基准及两种规模的 Qwen2.5 模型上，实现了推理性能与多样性保持的更好平衡，并显著减少了对正确基模型解法的遗忘，相关代码已开源。
来源：arXiv · NLP · arxiv.org