arXiv论文：利用OCR头实现视觉模型语义口头化

2026年11月2日，Sheridan Feucht等人在arXiv平台发布论文《Using OCR Heads to Verbalize Image Semantics》。该研究聚焦于因果可解释性，通过实验发现多模态模型中负责OCR功能的注意力头部，实际上是承载通用图像语义理解的关键模块。研究团队基于Qwen3-VL-8B等四款模型验证了这一结论，指出这些特定的注意力头部能够在全图像token上输出具有可解释性的特征向量。这些特征不仅局限于文字识别，还能捕捉复杂的视觉概念，例如将“bike”提示词错误但规律地映射到鸟翼输出的“feathers”上。该发现为理解视觉语言模型内部的语义处理机制提供了新的视角，表明OCR相关结构在更广泛的视觉语义表征中发挥着因果性作用。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。