arXiv · ML· Peize Ding·· 5 小时前AI 评分38
自增强集体动力学：跨任务耦合如何驱动无监督 RLVR 中的策略崩溃
Collective Dynamics of Self-Reinforcement: How Cross-Task Coupling Drives Policy Collapse in Unsupervised RLVR
AI 导读
无标签可验证奖励强化学习（RLVR）在初始提升推理能力后，最终导致模型自我评估奖励为1但准确率下降，甚至对所有问题给出相同答案的崩溃现象。 这种崩溃仅在训练使用大量问题时出现，源于问题间共享参数导致的集体不稳定性。关键问题数量 Nc 与共享耦合强度 λ 的平方成反比，移除共享方向可完全防止崩溃。
来源：arXiv · ML · arxiv.org