arXiv · ML· Md Musfiqur Rahman Sanim, Zhihao Shu, Bahram Afsharmanesh, Amirali Mirian, Wei Niu, Gagan Agrawal·· 10 小时前AI 评分26
M-JEPA：一种用于高效 JEPA 训练的掩码感知执行架构
Mask-Aware Execution for Efficient JEPA Training
AI 导读
M-JEPA 提出一种掩码感知执行架构，在不改变 JEPA 学习目标的前提下重构训练流程，显著提升 GPU 效率。 该架构分离了掩码无关计算与掩码依赖路由，支持共享上下文编码器、稀疏目标编码器及掩码补丁嵌入。 在 NVIDIA A100 GPU 上，M-JEPA 实现最高 1.7 倍端到端训练加速（2-10 个掩码），高稀疏度下补丁嵌入加速达 4.75 倍。
来源：arXiv · ML · arxiv.org