arXiv · ML· Bar{\i}\c{s} Alparslan, Sandy Tanwisuth, Caleb Petterson·· 6 小时前AI 评分38
OLMo-3 中 RLVR 训练导致工具收敛行为非单调变化的证据
Questioning Instrumental Convergence in RLVR: Checkpoint Evidence from OLMo-3
AI 导读
在 OLMo-3-7B-Think 的 RLVR 训练过程中，工具收敛率从 SFT 阶段的 25.0% 先升至 46.1%，最终降至 11.8%。 提示框架变化仅解释 15% 的模型得分方差，且初步 32B 模型结果也显示相同趋势。 该发现特定于此模型族与基准测试，评估者一致性为中等，绝对数值需谨慎解读。
来源：arXiv · ML · arxiv.org