I-JEPA 预测器宽度影响潜在因素可读性研究

研究者 Nilotpal Kakati 等发现，I-JEPA 在掩码潜在预测任务中，若使用与 ViT-B 相同的窄预测器（宽度与深度仅为编码器的一半），其共享潜在因素可读性中位数仅达到 SimCLR 的 40%，表现劣于对比学习方法。将预测器宽度扩展至与编码器一致后，在所有训练种子下，I-JEPA 的可读性表现均超过 SimCLR 和 BYOL，逆转了此前窄预测器下的排序结果。研究团队已发布模拟器及训练好的模型，揭示了预测器架构宽度对掩码潜在预测方法特征保留的关键影响。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。