arXiv · ML· Nilotpal Kakati·· 5 小时前AI 评分21
I-JEPA 预测器宽度影响潜在因素可读性：窄预测器表现劣于 SimCLR
Shared Is Not Enough: Predictor Width and Factor Readability Under Masked Latent Prediction
AI 导读
I-JEPA 使用半宽预测器时，共享潜在因素的可读性中位数仅为 SimCLR 的 40%。 将预测器宽度扩展至与编码器一致后，在所有训练种子下 I-JEPA 的可读性均超过 SimCLR 和 BYOL。 研究发布了模拟器及训练好的模型，揭示预测器架构宽度对掩码潜在预测方法特征保留的关键影响。
来源：arXiv · ML · arxiv.org