跳到正文
arXiv · AI· Soheil Abbasloo, Peng Cheng·· 4 天前AI 评分31

Benchmarks Don't Talk Back: 通过自我分歧学习辩证能力

Benchmarks Don't Talk Back: Learning Through Self-Disagreement

AI 导读

研究发现模型在面临反驳时会放弃正确答案,这种“辩证能力”无法通过提高准确率或增加推理时采样获得。 研究者提出一种强化学习框架,模型在训练中生成对自己答案的论证、进行裁判并据此训练,全程无需第二个模型、奖励模型或人工标注。 该能力随奖励信号习得,不会牺牲首答准确率,且对未训练过的挑战者(包括更强模型)保持稳健。

来源:arXiv · AI · arxiv.org