跳到正文
arXiv · AI· Zeyu Liu, Zanlin Ni, Yang Yue, Cheng Da, Huan Yang, Di Zhang, Kun Gai, Gao Huang·· 3 天前AI 评分23

理解监督如何指导统一多模态模型的视觉生成

Steering Visual Generation in Unified Multimodal Models with Understanding Supervision

AI 导读

研究提出轻量级框架 UNO,通过理解导向后训练将语义摘要和视觉回归作为监督信号,指导统一多模态模型的生成表示。 实验表明该方法实现了从理解到生成的有效梯度流动,在图像生成与编辑任务中验证了理解作为生成催化剂的有效性。 该工作已被 NeurIPS 2026 接收。

来源:arXiv · AI · arxiv.org