arXiv · AI· Minju Gwak, Alan Ritter·· 18 天前AI 评分28
使用辅助奖励进行自改进:从验证轨迹中学习并评估迁移
Self-Improvement with Auxiliary Rewards: Learning from Verified Traces and Evaluating Transfer
AI 导读
研究表明,基于熵的指标 UID-Conj. 在在线适应和离线训练中能提升小语言模型 Qwen3-1.7B 的自我改进与迁移能力。 在线实验中,UID-Conj. 将宏平均准确率较未修改的 TTRL 提升 2.08 个百分点;离线加权 SFT 中,较均匀加权提升 1.93 个百分点。 辅助偏好能揭示仅答案奖励无法捕捉的等正确轨迹间的训练价值,为下游增益评估提供依据。
来源:arXiv · AI · arxiv.org