arXiv · ML· Jos\'e Lucas De Melo Costa, Seong Woo Ahn, Fabrice Popineau, Arpad Rimmel, Bich-Li\^en Doan·· 2026-10-05AI 评分39
Drive vs. Decay: On the Training Dynamics of Joint-Embedding Predictive Architectures
Drive vs. Decay: On the Training Dynamics of Joint-Embedding Predictive Architectures
AI 导读
该研究提出 ResidualPred 预测器,通过理论分析统一了 JEPA 训练中的稳定性启发式,在 CIFAR-10 等基准上提升了有效秩与下游精度。该框架在超过 800 种 Tabular-JEPA 配置中验证了相界预测,并揭示了预测器缩放、掩码率与 EMA 如何通过稳定性比 μ 影响表示稳定性。代码已在论文中提供,该工作被 NeurIPS 2026 主会接收。
来源:arXiv · ML · arxiv.org