arXiv · AI· Carel van Niekerk, Renato Vukovic, Benjamin Ruppik, Hsien-chin Lin, Shutong Feng, Milica Ga\v{s}i\'c·· 14 天前AI 评分25
RLSF 通过自反馈强化学习提升大语言模型可靠性
Post-Training Large Language Models via Reinforcement Learning from Self-Feedback
AI 导读
RLSF 利用模型内在置信度作为自生成奖励进行后训练。 该方法生成 CoT 解码束并计算最终答案置信度以构建合成偏好,随后通过标准偏好优化微调策略。 此过程无需人类标签或外部奖励,能修复校准并增强算术推理及选择题问答性能。
来源:arXiv · AI · arxiv.org