arXiv · AI· Jewon Yeom, Hanseul Kim, Jeongjae Park, Sungmok Jung, Jaejin Lee, Taesup Kim·· 5 小时前AI 评分27
视频世界模型潜空间中的动作相关性:预测优于重建
What Makes Video World Model Latents Action-Relevant: Prediction over Reconstruction
AI 导读
研究发现视频世界模型潜空间中的动作相关性主要由时序视频预训练驱动,而非像素重建保真度。 强像素解码质量模型的动作可恢复性可能接近零,而视频预训练的自监督编码器在视觉保真度与动作预测间达成最佳帕累托权衡。 时序预测结构是动作相关视频表征的核心要素,且逆动力学监督可显著提升对视觉损坏的鲁棒性。
来源:arXiv · AI · arxiv.org