研究者解析无监督RLVR策略坍缩集体动力学机制

2026年10月28日，研究者Peize Ding在arXiv发布论文《自增强集体动力学：跨任务耦合如何驱动无监督 RLVR 中的策略崩溃》。该研究指出，无标签可验证奖励强化学习（RLVR）在初始提升推理能力后，会导致模型自我评估奖励为1但准确率下降，甚至对所有问题给出相同答案的崩溃现象。这种崩溃仅在训练使用大量问题时出现，源于问题间共享参数导致的集体不稳定性。关键问题数量Nc与共享耦合强度λ的平方成反比，移除共享方向可完全防止崩溃。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。