arXiv · ML· Daniel J. Korchinski, Alessandro Favero, Matthieu Wyart·· 10 天前AI 评分41
潜在预测与层级堆叠:样本复杂度理论分析
Learn from your own latents and not from tokens: A sample-complexity theory
AI 导读
潜在预测在层级深度L下仅需常数次样本,而监督学习需指数级样本,实现了数据效率的指数级提升。 研究证明了该理论,并首次分析了 data2vec 隐式执行层级潜在预测的特性,指出显式堆叠(如 H-JEPA)是冗余的。
来源:arXiv · ML · arxiv.org