跳到正文
arXiv · ML· Zijun Huang, Yingjun Du, Cees G. M. Snoek·· 5 小时前AI 评分32

PROVE:通过自博弈视觉-语言验证器提升组合理解

Perturb, Repair, Verify: Self-Play Vision-Language Verifiers for Compositional Understanding

AI 导读

研究提出自博弈框架 PROVE,通过“扰动-修复-验证”闭环训练视觉-语言验证器,无需外部标注或更强裁判,提升细粒度组合理解。 该框架基于同一多模态骨干网络,通过 Mutator 引入对象、属性或关系扰动,Verifier 提供文本反馈,Repairer 生成忠实描述,从而生成结构化奖励以优化共享参数。

来源:arXiv · ML · arxiv.org