跳到正文
11月19日周四
  1. arXiv · ML40

    自进化世界模型中的自主视频生成框架

    论文提出“自主视频生成”概念,旨在构建自进化世界模型。其核心主张是模型评估不应仅看视频保真度,而应衡量生成帧在反事实干预下的有效行动能力。 文章形式化了生成、绑定、验证与蒸馏的四阶段闭环优化流程,并定义了新颖性、一致性、OOD及效率四项指标。 该框架以无人机和机械臂为具身测试床,通过扰动风场、感知限制等约束,验证生成视频对决策的实际指导意义。

  2. arXiv · AI42

    OCTR2A:城市路口实时 RGB 转 BEV 轨迹投影与预测

    OCTR2A 架构利用对角 RGB 相机重建并预测鸟瞰图(BEV)轨迹,实现城市路口实时感知与预测。 该模型在单张消费级 GPU 上实时运行,预测 ADE/FDE 达 0.154/0.241 米;相比 SIND 基准 SOTA,预测精度提升 66.7%/41.7%。 R3ST++ 合成基准支持真实场景适配,无需 LiDAR 或 HD 地图等昂贵资源。

  3. arXiv · AI23

    VideoACE:通过高帧率动作评估智能体视频理解的基准

    研究团队提出 VideoACE 基准,包含 1000 道多选题,涵盖六大类细粒度动作理解,并附带时序证据标注与经筛选的用户提示。 评估环境结合视频检查工具与用户模拟器,允许模型调整时间覆盖、采样密度及空间细节,并在模拟用户反馈下重新审视证据。 该基准测试了单通道观察、自主工具使用及结合用户反馈的工具使用模式,为探索固定观察设置之外的智能体视频理解提供了测试平台。

  4. arXiv · AI24

    WorldRuler: 可配置规则下的交互式世界建模

    WorldRuler提出基于3D规则图的交互式世界建模框架,实现规则状态在保存与加载中的持久化,并通过动态对象绑定将规则指定的实体接地到视觉实例中。 该模型引入对象属性状态替换与反事实重构训练,利用GTA-V和Habitat构建的RuleVerse数据集,有效解决了未见对象上准确实现规则诱导变化的难题。 实验验证WorldRuler能保持规则状态一致性并准确实现指定对象和属性上的规则结果。

  5. arXiv · AI40

    EVA-RSI: 视频评估器的递归自我改进以判断时间质量

    研究人员提出多智能体框架 EVA-RSI,通过构建固定代理考试实现对视频评估器的递归自我改进,无需人工标注即可提供监督信号。 基于 Qwen3-VL-8B 模型,EVA-RSI 在平滑度维度取得最大增益,并在 21 个测试模型中于公共基准动态子集上取得最高分数。 作为强化学习奖励,该评估器提升了生成视频的运动质量并获得了人类偏好。

11月18日周三
  1. arXiv · AI37

    CodeReel:通过精确帧复用和阻塞感知调度加速代码转视频智能体

    CodeReel 作为训练无关的执行层,将代码转视频智能体在 EditLoop 基准上的等待时间减少 36.3%。 通过精确帧复用和阻塞感知调度,该方案避免了 37.5% 的重复渲染,并在 Claude Code 和 Codex CLI 中分别实现 0.62x 和 0.67x 的加速。 该技术显著降低了智能体生成视频的成本与耗时。

  2. arXiv · AI31

    FVScore: 规范驱动的神经符号视频生成评估框架

    FVScore 提出神经符号框架,通过编译视频命题和符号评估实现规范驱动的视频生成评估,显著提升与人类判断的一致性。 框架利用感知工具 grounding 命题,采用受线性时态逻辑启发的软时序算子评估置信度,并应用显著性感知校准保留感知显著违规。 现有评估器难以对齐人类判断且无法追踪时序违规,FVScore 在公开和复杂多事件基准测试中表现优于整体式和基于智能体的评估器。

  3. arXiv · AI28

    FrameRouter 通过帧预算路由提升 Video-MME-v2 长视频理解性能

    研究人员提出免训练测试时框架 FrameRouter,在 Video-MME-v2 等多个长视频理解基准上提升了问答性能。 该框架采用固定平均帧预算路由机制,结合证据需求路由器和预算约束分配规则,在保持平均视觉预算不变的前提下差异化分配帧采样。 该工作已被 NeurIPS 2026 接收,相关代码已开源。

11月17日周二
  1. arXiv · AI34

    VIOLA:实现极简标注视频上下文学习的标签高效框架

    VIOLA 提出了一种结合最小专家监督与大量无标签数据的标签高效框架,旨在解决多模态大语言模型在稀缺标注数据下的泛化难题。 通过引入密度不确定性加权采样、混合池构建以及置信度感知检索与提示机制,该框架在九种基准测试中显著优于各类基线模型。 此研究证明了在低成本标注场景下实现稳健适应的可能性,相关成果已被 WACV 2027 接收。

  2. arXiv · AI23

    基于开源 Wan 模型的生成视频注意力图:作为可解释性与创造性素材的研究

    该研究提出提取并可视化生成视频模型中交叉注意力图的方法,基于开源 Wan 模型构建工具,以解读文本到视频生成中的时空注意力行为。 通过探索性探测和艺术案例研究,验证注意力图作为分析工具及原始艺术素材的潜力,拓展可解释 AI 在艺术领域(XAIxArts)的应用边界。

  3. arXiv · AI35

    CreaTrace:视频创意剽窃检测与证据追溯

    提出 CreaTrace 框架,通过迭代创意证据追溯解决视频创意剽窃检测(VCPD)难题,在视觉外观差异大时验证创意相似性并定位证据片段。 设计多模态语义事件分割策略划分长视频叙事事件,结合粗粒度创意匹配与创意解耦,利用创意交换对比学习增强跨实现特征的创意一致性。 实验证明 CreaTrace 在多种创意剽窃场景中具备有效性与鲁棒性,能提供可解释的证据报告,为视频版权保护提供新方案。

  4. arXiv · AI23

    ReMoVe 通过细化视频模型自身运动生成连贯人类视频

    ReMoVe 将视频模型生成的粗略运动视为假设,通过恢复并细化底层运动,将其渲染为 3D 网格并转移面部外观,从而提升运动准确性和身份一致性。 该方法进一步从同一 3D 场景和相机轨迹中推导深度,以施加超越网格的场景级空间一致性。 实验表明 ReMoVe 在保持基础生成器运动先验的同时,显著提高了人类结构稳定性、外观一致性、时间连贯性及运动跟随保真度。

  5. arXiv · AI34

    VIVID:用于智能体视频编辑的视觉框架

    研究团队提出 VIVID 视觉框架,支持通用编码智能体进行视频后期制作,无需额外模型训练。 在包含 100 项任务的 AgenticVBench 上,集成 VIVID 的 Codex 平均得分 58.6%,比原生 Codex 提升 20.2 个百分点。 该框架还兼容 Claude Code 和 OpenCode,分别取得 55.1% 和 37.1% 的分数,显著优于原生基线。

  6. arXiv · AI21

    VAHBench:面向智能体长视频生成的基准测试

    VAHBench 评估智能体将用户请求转化为完整视频的能力,通过 48 种配置下的 240 次运行测试发现,视频生成的高质量分数并不等同于交付的完整性。 测试显示,缺失剧集、重复片段和静态填充物揭示了生产过程与用户要求之间的差距,添加的构图工具虽有帮助但未能一致提升性能。

11月16日周一
11月13日周五
  1. arXiv · AI26

    DashBench 评测自动驾驶长尾场景下的 25 个 Video LLM

    研究团队推出 DashBench 基准,测试 25 个 Video LLM 在 1,709 个包含碰撞与非碰撞长尾场景(corner cases)的驾驶视频中的表现。 评测结果显示,所有受测模型在安全关键驾驶应用所需阈值下表现不佳,常误判或漏检危险事件,并幻觉出不存在的物体或动作。 该基准结合数据集与诊断工具,旨在推动更安全、可解释的自动驾驶系统发展,代码与数据已公开。

  2. arXiv · AI24

    MemInStream:重新审视流式视频记忆评估

    针对现有基准无法区分理解失败与记忆缺失的问题,MemInStream 提出用于评估流式视频记忆能力的基准。 该基准通过证据控制协议关联时间定位证据区间,确保问题需依赖历史记忆而非近期观察或语言先验才能解决。 其涵盖事件检索、状态跟踪、多证据整合及上下文记忆四大类别,提供系统化的记忆评估方案。

  3. arXiv · AI23

    视频反向色调映射新框架:基于潜在亮度监督的盲后验推理

    针对SDR转HDR的盲逆问题,提出将视频反向色调映射重构为后验推理,通过潜在亮度监督纠正生成先验导致的亮度偏差。 使用视频扩散隐空间固定仿射功能量读取对数亮度,配合非对称损失选择后验分位数,并在显式色调算子族下合成训练SDR,使亮度误差更平缓且平均更小,在三项基准测试中取得最佳感知质量。

  4. arXiv · ML33

    WorldTrace 框架解决视频世界模型长时程视觉持久性地址失效问题

    WorldTrace 是一个免训练的内存框架,通过为每个摘要槽位分配独立的分布内虚拟位置,解决了视频世界模型在超出训练范围后因 RoPE 偏移导致无法可靠访问存储内容的问题。 该框架利用模型自身注意力决定保留或合并观测,构建有界可寻址内存库;在 LoopBench 基准测试中,其 DINOv2 召回相似度比滑动窗口提升 32.6%。

  5. arXiv · ML29

    MotionCFG:通过语义运动锐化提升视频生成中的运动动态

    提出无训练方法 MotionCFG,通过向运动嵌入注入高斯噪声构建负向条件,选择性放大 T2V 生成中的运动意图。 方法在理论上近似语义拉普拉斯锐化,抑制运动模糊区域;配合分段引导计划,以极低开销显著提升现有 SOTA T2V 框架的运动质量。 该方法已获 NeurIPS 2026 录用,并证明其原理可泛化以调节物体数量等复杂非线性概念。

11月11日周三