跳到正文
arXiv · AI· Randall Balestriero, Yann LeCun·· 21 天前AI 评分50

证明并改进基于 JEPAs 的柏拉图表示假设

Proving and Improving the Platonic Representation Hypothesis with JEPAs

AI 导读

研究人员将柏拉图表示假设转化为定理,证明 JEPAs 在多模态学习中能收敛至同一旋转不变表示。 理论验证显示,基于好视图的 JEPAs 比下一词预测节省 42 倍训练样本,且 109M 参数文本模型对齐效果优于 72B 语言模型。 该成果揭示了正视图而非单纯规模是构建通用表示的关键,并展示了 64% ImageNet-100 准确率的无配对应用潜力。

来源:arXiv · AI · arxiv.org