arXiv · AI· Nikhil Verma, Dingxian Wang, Mohammad Reza Rezaei, Andrew Rabinovich, Zhao Chen·· 11 天前AI 评分23
AbCD 通过多智能体辩论实现偏好学习对齐
Alignment by Confident Debate: Preference Learning from Multi-Agent Debate
AI 导读
AbCD 方法利用采样多样化委员会进行多智能体辩论,通过任务级语义等价聚类将辩论轨迹转化为偏好数据,无需黄金答案标签即可实现后训练对齐。 该方法在数学推理、选择题及代码生成等可验证任务上进行测试,涵盖 1B 至 8B 参数的五个模型家族及四个数据集。 后训练效果优于仅推理集成、纯辩论及同等轨迹下的监督微调,共识准确率最大提升 21.5 个百分点。
来源:arXiv · AI · arxiv.org