持续表征失配导致视觉语言模型失效

视觉语言模型因视觉与语言表征间的线性失配而失效，这种固有数据属性随规模扩大不会消除。 该研究证明此失配会导致可预测的泛化失败，且与现有失效模式相关，对齐良好的骨干网络失效更少。 结果为强版柏拉图表征假设提供了反面证据，表明仅靠规模无法实现表征对齐。