跳到正文
arXiv · AI· Wenkai Li, Wenyi Hong, Zhuoyi Yang, Jie Tang·· 2026-10-16AI 评分20

视觉生成能否扩展统一多模态模型的知识

Can Visual Generation Expand What Unified Multimodal Models Know?

AI 导读

提出知识转移探测(KTP)协议,在7类知识、3个UMMs上验证图像生成监督对文本问答的可迁移性,显示直接但分布不均的转移。 引入文本对齐与图文交错对齐,使生成与问答共享知识;在选中实体上指导可提升其他实体知识获取,无需额外问答监督。 结果支持视觉生成作为超越文本监督的知识来源,指向联合优化训练数据设计与模型架构以提升知识可访问性。

来源:arXiv · AI · arxiv.org