线性探针是否代表线性表征？

研究表明，线性探针的高准确率并不能证明视觉模型具备真正的线性世界模型结构，因为随机特征映射也可实现高准确率解码。 作者提出反向可预测性、光谱集中度等三种非对称诊断方法，并在 SVG-World 和 CelebA 等基准上验证，发现预训练结构优于随机核但远未达到线性世界模型水平。 该研究警示线性探针成功与真正低维线性表征之间的差异，对理解模型泛化性具有重要意义。