跳到正文
arXiv · ML· Zijian Zhang, Rizhen Hu, Jiangweizhi Peng, Shiyang Li, Sujay Bhatt, Sihan Zeng, Mingyi Hong·· 9 天前AI 评分29

AutoScaffold:用于大语言模型强化学习的 AI 引导式支架方法

AutoScaffold: AI-Guided Scaffolding for Reinforcement Learning of Language Models

AI 导读

框架 AutoScaffold 将强化学习可验证奖励训练中的学生经验转化为自适应支架,无需人工干预。 该框架通过冻结的教师模型诊断瓶颈并设计共享策略与个别提示,在四种任务域中优于对应强化学习基线。 在 ALFWorld 任务成功率提升 7.2 分,数学推理中用约三分之一的学生训练步数超过 QuestA 的准确率。

来源:arXiv · ML · arxiv.org