自进化世界模型中的自主视频生成框架
论文提出“自主视频生成”概念,旨在构建自进化世界模型。其核心主张是模型评估不应仅看视频保真度,而应衡量生成帧在反事实干预下的有效行动能力。 文章形式化了生成、绑定、验证与蒸馏的四阶段闭环优化流程,并定义了新颖性、一致性、OOD及效率四项指标。 该框架以无人机和机械臂为具身测试床,通过扰动风场、感知限制等约束,验证生成视频对决策的实际指导意义。
论文提出“自主视频生成”概念,旨在构建自进化世界模型。其核心主张是模型评估不应仅看视频保真度,而应衡量生成帧在反事实干预下的有效行动能力。 文章形式化了生成、绑定、验证与蒸馏的四阶段闭环优化流程,并定义了新颖性、一致性、OOD及效率四项指标。 该框架以无人机和机械臂为具身测试床,通过扰动风场、感知限制等约束,验证生成视频对决策的实际指导意义。
PEARL 提出 PSVU 任务并构建 PSVU-Bench,解决用户实时定义概念及回顾历史的问题。 方法将概念与视频片段分离存储,结合 PSVU-10K 训练检索器。在三个架构上平均提升实时问答 15.05%,优于现有在线模型。 代码、数据和模型已公开。
作者提出免训练方法 PQRS(Per-Query Routed Sparse Attention),在视频扩散 Transformer 中仅对 Key 聚类,让每个 Query 独立选择 Key 簇。
OCTR2A 架构利用对角 RGB 相机重建并预测鸟瞰图(BEV)轨迹,实现城市路口实时感知与预测。 该模型在单张消费级 GPU 上实时运行,预测 ADE/FDE 达 0.154/0.241 米;相比 SIND 基准 SOTA,预测精度提升 66.7%/41.7%。 R3ST++ 合成基准支持真实场景适配,无需 LiDAR 或 HD 地图等昂贵资源。
研究团队提出 VideoACE 基准,包含 1000 道多选题,涵盖六大类细粒度动作理解,并附带时序证据标注与经筛选的用户提示。 评估环境结合视频检查工具与用户模拟器,允许模型调整时间覆盖、采样密度及空间细节,并在模拟用户反馈下重新审视证据。 该基准测试了单通道观察、自主工具使用及结合用户反馈的工具使用模式,为探索固定观察设置之外的智能体视频理解提供了测试平台。
WorldRuler提出基于3D规则图的交互式世界建模框架,实现规则状态在保存与加载中的持久化,并通过动态对象绑定将规则指定的实体接地到视觉实例中。 该模型引入对象属性状态替换与反事实重构训练,利用GTA-V和Habitat构建的RuleVerse数据集,有效解决了未见对象上准确实现规则诱导变化的难题。 实验验证WorldRuler能保持规则状态一致性并准确实现指定对象和属性上的规则结果。
研究人员提出多智能体框架 EVA-RSI,通过构建固定代理考试实现对视频评估器的递归自我改进,无需人工标注即可提供监督信号。 基于 Qwen3-VL-8B 模型,EVA-RSI 在平滑度维度取得最大增益,并在 21 个测试模型中于公共基准动态子集上取得最高分数。 作为强化学习奖励,该评估器提升了生成视频的运动质量并获得了人类偏好。
Quicksviewer 提出一种 LMM 新感知范式,利用 Gumbel Softmax 将非均匀冗余视频分割为变化立方体,实现整体 45× 压缩率,显著降低时空复杂度。
Social Department 推出 QuickSearch 功能,通过可执行的检索管道自动化发现影视素材中的高光片段。 系统运行于 Amazon Bedrock,集成 TwelveLabs Marengo 3.0 和 Pegasus 1.2 模型进行场景级推理。 支持 Shareable Scenes 等四种检索动作,实现 AI 提案与人工决策结合。
Google DeepMind 向符合条件的 Google AI Ultra 订阅者推出新版 Project Genie 体验,提供对 Genie 4 模型的首次访问权限。
推荐理由:官方详细解析了Genie 4的实时编辑与音频能力,以及Agent和画廊如何改变世界生成流程。
提出 SkillPE 创意导向框架,通过参考引导探索演化可复用电影技能,在 StoryEval 和 VBench 上较种子技能提升最高 1.10 分。 基于 20 个种子技能,结合 Resonators 和 Divergents 检索与变异,按 7 分四维量表评估最终技能库。 为电影感文生视频生成提供平衡保真度与创意的实用方法。
summary_zh: TAR框架引入时间锚点(T-anchor)机制,通过渐进式精炼链式推理(CoT)并强制中间思考对齐视觉证据,显著提升推理忠实度与最终预测准确性。
Spool 是一款免训练框架,通过缓存帧状态变换实现混合视觉语言模型的精准移除过期帧。 在五个开源模型和四项视频推理基准测试中,Spool 将 p95 首 token 延迟降低 6.6 倍,准确率平均提升 2.3 个百分点。
CodeReel 作为训练无关的执行层,将代码转视频智能体在 EditLoop 基准上的等待时间减少 36.3%。 通过精确帧复用和阻塞感知调度,该方案避免了 37.5% 的重复渲染,并在 Claude Code 和 Codex CLI 中分别实现 0.62x 和 0.67x 的加速。 该技术显著降低了智能体生成视频的成本与耗时。
FVScore 提出神经符号框架,通过编译视频命题和符号评估实现规范驱动的视频生成评估,显著提升与人类判断的一致性。 框架利用感知工具 grounding 命题,采用受线性时态逻辑启发的软时序算子评估置信度,并应用显著性感知校准保留感知显著违规。 现有评估器难以对齐人类判断且无法追踪时序违规,FVScore 在公开和复杂多事件基准测试中表现优于整体式和基于智能体的评估器。
研究人员提出免训练测试时框架 FrameRouter,在 Video-MME-v2 等多个长视频理解基准上提升了问答性能。 该框架采用固定平均帧预算路由机制,结合证据需求路由器和预算约束分配规则,在保持平均视觉预算不变的前提下差异化分配帧采样。 该工作已被 NeurIPS 2026 接收,相关代码已开源。
VIOLA 提出了一种结合最小专家监督与大量无标签数据的标签高效框架,旨在解决多模态大语言模型在稀缺标注数据下的泛化难题。 通过引入密度不确定性加权采样、混合池构建以及置信度感知检索与提示机制,该框架在九种基准测试中显著优于各类基线模型。 此研究证明了在低成本标注场景下实现稳健适应的可能性,相关成果已被 WACV 2027 接收。
该研究提出提取并可视化生成视频模型中交叉注意力图的方法,基于开源 Wan 模型构建工具,以解读文本到视频生成中的时空注意力行为。 通过探索性探测和艺术案例研究,验证注意力图作为分析工具及原始艺术素材的潜力,拓展可解释 AI 在艺术领域(XAIxArts)的应用边界。
研究者提出无训练框架 PoCoAttn,通过离线分离位置先验与在线计算内容残差,解决现有稀疏注意力方法的效率-质量两难困境。 该机制结合相对偏移分析与头自适应比率,在四个视频扩散模型实验中实现 4.1 倍注意力与 2.0 倍去噪加速,PSNR 较基线提升 1.9 至 5.0 dB。
LynnReal-Hand 模型将手部运动转化为视频世界模型的直接交互控制,解决实时计算挑战。 模型在 HandBench 评测中取得 FVD 181.67 和 MANO Dice 93.02 分数。 在单块 H200 上 540p 流式推理达 18.03 FPS,峰值显存占用 34.89GB。
WeVisForensics 提出了一种用于 AI 生成视频检测的自进化智能体框架,在域内、域外及智能体基准测试中平均检测准确率达 95.2%。 该框架包含双时间尺度策略优化 DTPO 和 ForenCue-30K 数据集,支持视觉与音频线索的协同检测,性能比最强先前检测器高出 9.0%。
提出 CreaTrace 框架,通过迭代创意证据追溯解决视频创意剽窃检测(VCPD)难题,在视觉外观差异大时验证创意相似性并定位证据片段。 设计多模态语义事件分割策略划分长视频叙事事件,结合粗粒度创意匹配与创意解耦,利用创意交换对比学习增强跨实现特征的创意一致性。 实验证明 CreaTrace 在多种创意剽窃场景中具备有效性与鲁棒性,能提供可解释的证据报告,为视频版权保护提供新方案。
在 Qwen2.5-VL-7B 上,一种基于 M-RoPE 的 KV-Cache 重用方法支持在 4 倍帧率下对已稀疏采样的视频上下文进行编辑,同时复用幸存片段的缓存以减少预填充 token 和端到端重建延迟。
ReMoVe 将视频模型生成的粗略运动视为假设,通过恢复并细化底层运动,将其渲染为 3D 网格并转移面部外观,从而提升运动准确性和身份一致性。 该方法进一步从同一 3D 场景和相机轨迹中推导深度,以施加超越网格的场景级空间一致性。 实验表明 ReMoVe 在保持基础生成器运动先验的同时,显著提高了人类结构稳定性、外观一致性、时间连贯性及运动跟随保真度。
研究团队提出 VIVID 视觉框架,支持通用编码智能体进行视频后期制作,无需额外模型训练。 在包含 100 项任务的 AgenticVBench 上,集成 VIVID 的 Codex 平均得分 58.6%,比原生 Codex 提升 20.2 个百分点。 该框架还兼容 Claude Code 和 OpenCode,分别取得 55.1% 和 37.1% 的分数,显著优于原生基线。
VAHBench 评估智能体将用户请求转化为完整视频的能力,通过 48 种配置下的 240 次运行测试发现,视频生成的高质量分数并不等同于交付的完整性。 测试显示,缺失剧集、重复片段和静态填充物揭示了生产过程与用户要求之间的差距,添加的构图工具虽有帮助但未能一致提升性能。
DECOUPAGE 提出一种由剧本驱动的长形式多镜头、多角色音视频联合生成框架。该模型基于联合扩散架构,通过双调度时间交叉注意力机制实现视听时序解耦,支持 15-60 秒生成的多模态一致性控制。
研究揭示时空深度伪造检测器易受规避攻击,提出SpInShield框架以解耦语义运动与可操纵频谱伪影。 SpInShield通过可学习频谱对手生成严重频谱畸变,采用捷径抑制优化策略,在模拟幅度频谱攻击下AUC比最强基线高21.30个百分点。
研究团队提出 CamChoreo 基准,包含 4,229 个单镜头片段及 20 个方向感知标签,用于评测视觉语言模型的时序组合相机运动理解能力。 基于约 4.3 万片段语料微调 4B/8B 模型取得 62.1/64.1 micro F1,CamDistill 技术进一步提升 3.7-5.4 分。
VMonarch 提出用于视频扩散 Transformer 的新型注意力机制,将注意力 FLOPs 降低 17.5 倍,长视频注意力计算加速超 5 倍。 该方法基于 Monarch 矩阵表示稀疏时空注意力,并融合 FlashAttention 在线熵算法,在 90% 稀疏度下超越最先进稀疏注意力方法。
研究团队推出 DashBench 基准,测试 25 个 Video LLM 在 1,709 个包含碰撞与非碰撞长尾场景(corner cases)的驾驶视频中的表现。 评测结果显示,所有受测模型在安全关键驾驶应用所需阈值下表现不佳,常误判或漏检危险事件,并幻觉出不存在的物体或动作。 该基准结合数据集与诊断工具,旨在推动更安全、可解释的自动驾驶系统发展,代码与数据已公开。
PhysLoop 框架通过 LLM 指导视频生成、选择与修正,发布 100K 视频数据集及 PhysLoop-Gen/Repair 工具。 该框架支持受控训练数据构建和推理时修复,旨在减少人工干预,实现视频生成模型的限制性递归自我改进(RSI)。
针对现有基准无法区分理解失败与记忆缺失的问题,MemInStream 提出用于评估流式视频记忆能力的基准。 该基准通过证据控制协议关联时间定位证据区间,确保问题需依赖历史记忆而非近期观察或语言先验才能解决。 其涵盖事件检索、状态跟踪、多证据整合及上下文记忆四大类别,提供系统化的记忆评估方案。
针对SDR转HDR的盲逆问题,提出将视频反向色调映射重构为后验推理,通过潜在亮度监督纠正生成先验导致的亮度偏差。 使用视频扩散隐空间固定仿射功能量读取对数亮度,配合非对称损失选择后验分位数,并在显式色调算子族下合成训练SDR,使亮度误差更平缓且平均更小,在三项基准测试中取得最佳感知质量。
WorldTrace 是一个免训练的内存框架,通过为每个摘要槽位分配独立的分布内虚拟位置,解决了视频世界模型在超出训练范围后因 RoPE 偏移导致无法可靠访问存储内容的问题。 该框架利用模型自身注意力决定保留或合并观测,构建有界可寻址内存库;在 LoopBench 基准测试中,其 DINOv2 召回相似度比滑动窗口提升 32.6%。
提出无训练方法 MotionCFG,通过向运动嵌入注入高斯噪声构建负向条件,选择性放大 T2V 生成中的运动意图。 方法在理论上近似语义拉普拉斯锐化,抑制运动模糊区域;配合分段引导计划,以极低开销显著提升现有 SOTA T2V 框架的运动质量。 该方法已获 NeurIPS 2026 录用,并证明其原理可泛化以调节物体数量等复杂非线性概念。
summary_zh: 研究提出 vid2vid-long 方法,通过计算输入视频补丁级对应关系并引导检索,利用对应交叉注意力条件化模型,显著提升视频转视频任务的长程时间一致性。
APEX 利用条件移位扩展流式视频生成,移除独立假分数网络。 对比 S2-Avatar,APEX 指令遵循净偏好 +30.0%,峰值 GPU 显存降低 4.4%,平均迭代时间缩短 9.2%。
PhyRubric提出基于评分准则的诊断框架评估T2V模型物理常识。该框架将描述拆解为语义与物理条目,生成34个类别基准并微调3788条数据的开源PhyRubric-Judge。评测显示该模型与人类判断相关性优于开源基线,媲美Gemini 4 Argon。
论文发布 LAION-BVD 开源视频数据集,包含8000万条视频,总时长达1350万小时,用于视频、音频及图像的多模态预训练。 数据集通过 CommonCrawl 爬取,利用内容感知场景检测提取片段并生成合成视频与音频字幕。 研究人员将开源该数据集,以大规模扩展多模态视频的公开访问范围。