跳到正文
arXiv · ML· Yuval Ran-Milo, Yotam Alexander, Shahar Mendel, Nadav Cohen·· 11 天前AI 评分31

Outcome-Based RL 如何使 Transformer 自发推理:理论与实证分析

Outcome-Based RL Provably Leads Transformers to Reason, but Only With the Right Data

AI 导读

论文证明,基于结果监督的强化学习策略梯度可驱动单层线性 Transformer 收敛至逐顶点遍历图的可解释算法。 研究识别出训练分布中“简单示例”的关键作用,其质量决定模型能否泛化至长推理链。 实验在合成数据及真实语言模型数学推理任务上验证了该理论结果的有效性。

来源:arXiv · ML · arxiv.org