跳到正文
arXiv · AI· Xiaofu Chen, Stella Frank, Yova Kementchedjhieva·· 17 天前AI 评分30

以典型颜色为透镜探究视觉编码器与 VLM 的概念可解码性

Canonical Color as a Lens into Concept Decodability in Vision Encoders and VLMs

AI 导读

视觉编码器能在去除颜色的灰度图像中解码典型颜色信息,且该信息与其预测的物体身份存在概念联系。 扩展分析显示,完整视觉语言模型(VLM)的后训练对编码器的颜色可解码性有巨大影响。 典型颜色由此成为追踪视觉模型内部物体级概念语义信息的有效且可控的透镜。

来源:arXiv · AI · arxiv.org