arXiv · AI· Juanxi Tian, Fengyuan Liu, Jiaming Han, Yilei Jiang, Yongliang Wu, Yesheng Liu, Haodong Li, Furong Xu, Wanhua Li·· 10 天前AI 评分35
Auto-Rubric as Reward (ARR):通过显式评分标准实现多模态生成模型对齐
Auto-Rubric as Reward: From Implicit Preferences to Explicit Multimodal Generative Criteria
AI 导读
ARR 框架通过将视觉语言模型的内部偏好显式转化为可验证的评分标准(Rubrics),并提出 Rubric Policy Optimization (RPO),实现了多模态模型的高效对齐。 该方法在文本生成图像和图像编辑基准测试中表现优于成对奖励模型及视觉语言模型裁判,同时抑制了位置偏差,证明了结构化评分在数据效率与可靠性上的优势。
来源:arXiv · AI · arxiv.org