arXiv · AI· Yifeng Yao, Jinghan Li, Zhihao Zhang, Yajiao Xiong, Yang Jin, Kun Xu, Huishuai Zhang, Dongyan Zhao·· 6 小时前AI 评分36
VANE：基于嵌入空间下一帧预测的统一视觉表示学习框架
Learning from Next-Frame Prediction: Towards Unified and Scalable Visual Representation Learning
AI 导读
提出自监督视觉预训练框架 VANE，在嵌入空间进行下一帧预测以提升视觉世界建模。 利用冻结语义 tokenizer 和因果编码器预测完整下一帧表示，辅以轻量生成解码器重建空间细节。 在 EPIC-KITCHENS-100 动作预测基准上，V-JEPA 2.1 高出 7.1 个百分点均值召回率，实现统一编码器 SOTA。
来源：arXiv · AI · arxiv.org