arXiv · AI· Ellen Xiaoqing Tan, Jack Lanchantin, Zichun Yu, Polina Kirichenko, Shehzaad Dhuliawala, Danwei Li, Thao Nguyen, Jing Xu, Ping Yu, Ilia Kulikov, Sainbayar Sukhbaatar, Jason Weston, Xian Li, Olga Golovneva·· 23 小时前AI 评分26
Self-Improving Training & Thinking:将思考与强化学习提前至预训练与中期训练阶段
Self-Improving Training & Thinking
AI 导读
该研究提出一种新的预训练与中期训练方法,利用现有强力后训练模型改写数据并判断策略模型轨迹,从而在训练早期引入思考与强化学习。 方法包含自改进后思考概念,通过生成后推理来提升模型推理与自我判断能力,实验显示在多个维度上均能带来显著增益。 这一方法旨在解决传统分阶段训练导致安全、事实性等关键能力添加过晚的问题。
来源:arXiv · AI · arxiv.org