跳到正文
arXiv · AI· Robert Jenkinson Alvarez·· 17 天前AI 评分40

JEPAs 中的各向异性:HamJEPA 引入哈密顿几何与辛预测

Beyond Isotropy in JEPAs: Hamiltonian Geometry and Symplectic Prediction

AI 导读

HamJEPA 将 JEPAs 的各向同性偏置从固定编码边际转移至跨视图耦合,通过学习哈密顿 leapfrog 映射预测视图转换。 在 CIFAR-100 无头 token 协议下,相比 SIGReg,30 轮提升 kNN@20 +4.89、线性探测 +3.52;80 轮两种子提升 +7.24 和 +9.67。

来源:arXiv · AI · arxiv.org