arXiv · ML· Anran Xu·· 10 天前AI 评分35
高斯正则化 JEPA 的全局反例:良好视图不足以保证唯一性
Good Views Are Not Enough: Global Counterexamples for Gaussian-Regularized JEPAs
AI 导读
良好视图无法保证高斯正则化 JEPA 在场景不变性或旋转唯一性上的全局最优,论文给出了全球认证的反例。 在 512 维模型中,引入精确总体白化后,Epps-Pulley 正则化仍迫使全局最小化保留无关变量,导致最佳旋转后跨模态对齐误差为正。 这些结果将学习表征的确定性因素连接起来,表明场景对齐更好未必带来更好的预测性能。
来源:arXiv · ML · arxiv.org