arXiv · AI· Shiye Su, Xiaohan Wang, Ludwig Schmidt, Serena Yeung-Levy·· 4 天前AI 评分21
视觉推理在文本到图像奖励建模中的新思考
Rethinking Visual Reasoning in Text-to-Image Reward Modeling
AI 导读
研究指出,现有文本到图像奖励模型在视觉推理评测中表现不佳,偏好微调会侵蚀视觉理解能力。通过翻转配对轴,将视觉推理数据集转化为偏好对混合训练,实现了视觉理解与偏好预测的帕累托改进。 该奖励模型在推理时最佳n选择和强化学习后训练阶段,将组合提示下的文本到图像生成准确率分别平均提升4.0%和5.5%,优于使用6倍更多偏好对的HPSv3模型。
来源:arXiv · AI · arxiv.org