arXiv · ML· Jaeho Hwang, Uiwon Hwang·· 17 天前AI 评分25
探索何时防止崩溃?自一致性训练中三种状态与奖励路径分析
When Does Exploration Prevent Collapse? Three Regimes and the Path of the Reward in Self-Consistency Training
AI 导读
论文分析测试时强化学习(TTRL)中探索系数防止策略崩溃的机制,在MATH-500数据集上验证了特定奖励结构的有效性。 推导并计算了自洽奖励及多数决奖励下策略稳定性的上下边界,证明在归一化前探索系数需高于1/log(G-1)。该研究为自一致性训练中的探索强度提供了理论依据,但在实验中降低了pass@1指标。
来源:arXiv · ML · arxiv.org