arXiv · AI· Phuc Minh Nguyen, Ngoc-Hieu Nguyen, Parshin Shojaee, Chinh Duc La, Duy Minh Ho Nguyen, Rui Zhang, Khoa D. Doan, Ting Hua, Nitesh V. Chawl·· 16 天前AI 评分40
RLVR 训练中的首位偏差研究
On the Primacy Bias in RLVR Training
AI 导读
RLVR 训练在混合数据中加剧了模型的首位偏差,导致简单问题性能提升显著,而难题仅获边际收益。 研究发现难题对扩展模型推理能力最为关键,但长期训练难题会导致简单问题的遗忘。 这些发现解释了不同领域 RLVR 效果冲突的原因,帮助理解 OOD 域的性能变化。
来源:arXiv · AI · arxiv.org