研究显示 RLVR 仅优化 OLMo-2-1B 答案路径而非推理知识

RLVR 训练使 OLMo-2-1B 在 GSM8K 的首次尝试准确率从 58.0% 升至 61.3%，但 256 次采样的解题覆盖率仅从 94.5% 微增至 96.9%。 内部探针检测推理错误的 AUROC 保持在 0.798 至 0.840 之间，显示模型未建立更清晰的错误表征；仅在最终答案 token 处探针达到 0.93 AUROC，证实 RLVR 改变的是答案选择偏好。