研究团队发布视觉自监督预训练框架 VANE

研究人员 Yifeng Yao 及其团队于近期在 arXiv 上发布了名为 VANE 的视觉自监督预训练框架。该框架的核心技术在于在嵌入空间执行下一帧预测，旨在提升视觉世界建模能力。 VANE 的具体架构利用冻结的语义 tokenizer 和因果编码器来预测完整的下一帧表示，并辅以轻量级生成解码器以重建空间细节。 在性能评估方面，基于 EPIC-KITCHENS-100 动作预测基准的测试显示，V-JEPA 2.1 模型的平均召回率比 VANE 高出 7.1 个百分点，但 VANE 实现了统一编码器架构下的 SOTA 结果。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。