arXiv · ML· Simon Park, Simran Kaur, Sanjeev Arora·· 6 小时前AI 评分32
RL 后训练如何诱导技能组合:Countdown 任务案例分析
How Does RL Post-training Induce Skill Composition? A Case Study on Countdown
AI 导读
研究通过 Countdown 任务分析 RL 后训练,发现模型习得技能组合能力,实现对更大 n 值和未见树形的分布外(OOD)泛化。 模型先掌握浅层平衡树,再掌握深层不平衡树,固定深度下右侧较重结构仍脆弱。该诊断机制揭示了标准指标 pass@k 未能反映的泛化失败点。
来源:arXiv · ML · arxiv.org