LeJEPA 无标签监控失效：自监督学习中已知答案测试揭示编码器性能下降未被检测

研究发现，LeJEPA 编码器在自监督训练中出现性能突降，但无标签监控信号失效，多数反而误判为状态更好。 具体表现为 10 个种子中有 9 个在因子空间同方向突降，11 种监控指标中绝大多数未察觉且偏好下降后的检查点。 标准变点检测未能及时报警，基于这些信号的检查点选择多发生在性能下降之后。

摘自 arXiv · ML

还没有足够的连续观测数据，暂不绘制趋势。