arXiv · AI· Antyabha Rahman, Akshaj Gurugubelli, Omar Ankit, Kevin Zhu, Aishwarya Balwani·· 9 天前AI 评分20
探究 DeepSeek-Math 等模型 RL 与 SFT 数学推理性能差异的表征机制
Probing the Origins of Reasoning Performance: Representational Quality for Mathematical Problem-Solving in RL vs. SFT Fine-Tuned Models
AI 导读
研究表明,经 RL 训练的 DeepSeek-Math-RL 等模型在数学推理上优于 SFT 模型,源于其内部表征质量的差异。 逐层线性探针显示,RL 模型预测答案正确性的准确率更高;均值消融研究发现,其准确率下降随层深增加,而 SFT 模型无此趋势。 该分析揭示了强化学习在提升模型推理能力上的内部机制。
来源:arXiv · AI · arxiv.org