跳到正文
10月14日周三
  1. arXiv · AI23

    TARA 方法提出跨视角物理对抗攻击 针对世界模型与视频理解模型

    研究者提出 TARA 方法,通过轨迹感知优化让单一可打印物理纹理在多变视角下持续干扰模型。 该攻击利用对比对齐技术,使不同视频轨迹下的受害表示收敛至共享对抗区域以实施物理威胁。 这揭示了世界模型和视频理解模型在现实动态环境中面临的基础安全挑战。

  2. arXiv · AI22

    Prospective Forcing:通过前瞻学习提升自回归长视频扩散生成

    Prospective Forcing 是一种多头预测框架,通过向自回归视频表示注入长程预测信号来解决长时间 rollout 中的画质下降问题。 该方法基于滚动窗口生成器,附加轻量级、偏移特定的头,独立预测不同未来时间偏移的 chunks,并在推理时使用已接受的未来 chunks 预测来跳过完整窗口骨干执行以加速采样。

  3. arXiv · AI21

    GeoFix:面向4D一致生成的几何修复框架

    提出 GeoFix 框架,通过单一几何奖励提升 4D 生成的几何一致性与视觉质量,避免传统方法对纹理细节的损害。 该框架利用静态场景区域的跨视图深度一致性作为奖励指标,并根据相机视场重叠依赖趋势进行校准,防止小相机移动被误判为更好的几何结构。 GeoFix 在 WorldScore 3D 一致性上提升 39%,VBench 质量得分提高 4%。

  4. arXiv · NLP23

    视频推理中的奖励加权:提升 Token 效率的 GRAB 方法

    研究提出结构化事件证据(SEE)Schema 及 GRAB 算法,解决视频大语言模型在平衡模式合规、任务准确性与推理预算时的多目标优化瓶颈。GRAB 在奖励空间内动态计算帕累托最优权重,相对 GRPO 运行时开销极低(<0.002%),避免了对静态权重的繁琐调优。基于 PARSE-60K 数据集训练的 PARSE-4B 模型,在保持竞争准确度的同时,生成 token 数减少 13% 至 39%。

  5. arXiv · AI23

    LabInstruct: 实验室程序情境化指令视频生成基准

    LabInstruct 发布,这是一个针对真实实验室情境化指令视频生成的基准,包含 204 项任务,覆盖 5 个科学领域。 该基准包含真实参考执行记录,以及关于物体、动作、接触和状态转换的结构化标注,并用于评估 8 个前沿 image-to-video 模型。 评估结果显示,视觉合理的视频生成结果经常在程序上存在错误,揭示了视觉真实感与实验指令可靠性之间的显著差距。

  6. arXiv · AI30

    ACROSSVAM2.0:面向参数高效视频扩散适应的冲突感知点监督

    基于 5.01B 参数文生视频扩散 Transformer 的 ACROSSVAM2.0 结合置信加权头部与不对称 PCGrad,在 24 提示词评估中较对照降低 9.7% 跟踪循环误差。 方法通过零初始化残差反馈保护初始生成器,四次消融实验中种子级 KLT 误差平均降低 0.00711,VBench 六维度表现与对照持平。 研究结论表明该冲突感知适应提升了对应一致性,但未广泛改善视频感知质量。

  7. arXiv · AI33

    Reels-RSI 开源框架通过程序级自我改进提升代码生成视频质量

    Reels-RSI 是开源视频导演框架,通过程序级自我改进而非权重更新提升视频质量。在 111 个视频案例中,其学习规则捕获了早期 4 个潜在缺陷,且后续无新缺陷。 该系统将静态检查捕获的经验编译为带测试用例的规则,确保新规则能回溯审计旧内容;弱导演在有规则保护下违规次数从 30 次降至 5 次。

10月12日周一
  1. arXiv · AI30

    MotionCoach:构建视频专业动作编辑的多模态引导

    多模态智能体 MotionCoach 通过自验证与多轮工具使用生成专业动作编辑引导,在 VPMEBench 上将 Seedance 2.0 综合得分从 55.1 提升至 65.6。 该智能体在 MotionCoach-SFT-10k 上冷启动,并基于 MotionCoach-RL-2k 使用 GRPO 算法进行强化学习优化。 无需重新训练视频编辑模型即可实现精确的专业动作编辑。

10月10日周六
  1. 可灵AI57

    可灵Kling 4.0实战测评:超现实场景生成效果分析

    韩国视觉创作者 Oasis 针对 Kling 4.0进行了三组实战测试,重点考察超现实场景下的人物表演自然度、多图转场稳定性以及实拍与卡通风格的转换连贯性。测试结果显示,Kling 4.0 能够较好地保留静态图像中的色调与空间质感,在多人互动、场景切换及混合风格视频生成中保持了较高的角色一致性与动作逻辑。

  2. 阿里云35

    阿里巴巴AI深化与NBA合作:NBA Chat引入多模态交互与万相Wan 3.0升级

    阿里巴巴AI支持NBA中国赛2026,NBA Chat首次引入多模态交互并接入NBA知识图谱,新增基于马布里等风格的特色Agent。 万相Wan 3.0升级360度实时回放,10-15秒生成“主角时刻”视频,并通过AI Fan Cam增强现场互动体验。 2025年10月阿里云成为NBA中国官方云计算与AI合作伙伴,合作覆盖多项赛事及数字平台。

10月9日周五
  1. arXiv · AI26

    FreshMem: 面向流式视频理解的大脑启发频率-空间混合记忆机制

    论文提出 FreshMem,一种受大脑启发、无需训练的频率-空间混合记忆网络,用于 MLLMs 在线流式视频理解。 在 Qwen2-VL 基线上,FreshMem 分别提升 StreamingBench、OV-Bench、OVO-Bench 5.20%、4.52% 和 2.34%,性能优于若干全量微调方法。 该成果已被 NeurIPS 2026 接收,为长时流式视频理解提供高效新范式。

  2. arXiv · AI25

    ME-World 提出多智能体第一人称世界模型,支持细粒度具身交互

    论文提出 ME-World 模型,将多智能体第一人称世界建模定义为共享世界中多路 ego 流同步生成,并要求跨视角动作一致性与状态更新一致传播。 模型在共享 token 序列中联合去噪,基于所有智能体目标视角位姿与共享环境记忆生成内容,训练与评测使用真实及合成多智能体数据。 实验表明 ME-World 在共享世界一致性、动作控制、身份保持与视频质量上优于现有方法。

  3. arXiv · AI37

    VINCIE-NExT: 通过上下文建模实现图像驱动的视频编辑

    VINCIE-NExT 提出统一框架,通过上下文视觉演示将图像编辑能力迁移至视频,避免依赖昂贵的大规模配对视频数据。 该模型将视频编辑分解为“视频-图像-图像-视频”子任务链,引入位置编码在共享空间坐标系中对齐图像演示与视频帧,实现像素级外观传播。 在 OpenVE-Bench 上取得了最先进性能,且无需重新训练即可通过增加计算量提升编辑质量。

  4. arXiv · ML26

    基于复数融合的开词表音视频事件定位

    基于复数融合的开词表音视频事件定位模型在 OV-AVEBench 未见类别划分中刷新 SOTA,达到 66.5% Acc 和 59.1% Seg-F1。 模型冻结视觉与音频编码器,仅训练时序注意力块和复数融合 CVNN。四流复数架构在未见类别 Acc 上较微调基线提升 1.6 个百分点。 该论文已被 2026 年英国计算机视觉会议(BMVC)接收。

  5. arXiv · ML36

    用无字幕原始视频对 Qwen3-1.7B 进行中间训练:纯自监督方案优于预测字幕

    研究证明,使用无字幕、无文本损失的原始视频对 Qwen3-1.7B 进行中间训练,可显著提升模型在视觉基准上的表现。 在四个视频基准上平均提高 2.9 分,十个图像基准上提高 5.1 分,且在 14 个文本基准上保持性能(平均 48.9 分,未训练模型为 48.0 分)。 结果表明,预测下一个视觉 token 优于预测字幕,证明视频中间训练可保持纯自监督,无需承担自动字幕生成的计算开销或标注噪声。

  6. arXiv · ML22

    SpectralCache 加速扩散世界模型:基于频谱特征缓存实现 5.22 倍推理提速

    无训练框架 SpectralCache 利用相邻去噪步间奇异子空间稳定性,通过线性外推估计低维奇异值并跳选主干计算,显著加速扩散世界模型推理。 在 HunyuanWorld-Voyager-13B 模型上,该方法将推理速度提升 5.22 倍,静态场景 WorldScore 保持 65.90。 该方法在不牺牲生成质量的前提下,大幅降低了交互式环境生成所需的推理开销。

  7. arXiv · NLP25

    DataVista:首个数据视频理解基准评测 Gemini-3.1-Pro 表现

    DataVista 发布,这是首个数据视频理解基准,含 961 个视频和 6,775 道问题,覆盖 19 个 MLLM。 基准采用三级能力框架(数据感知、时间推理、叙事理解)和 10 种细分题型,横跨 5 大主题域。 最佳模型 Gemini-3.1-Pro 整体准确率仅 70.0%,远低于人类专家,因果推理和叙事结构表现最差。

10月8日周四
  1. arXiv · AI25

    基于损失引导多专家 GAN 的手语视频合成框架发布

    提出基于损失引导多专家 GAN 的手语视频合成框架,通过三个专用判别器指导生成器分支实现隐式特征专业化。 该框架采用双路径卷积 - Transformer 设计,1.3B 参数变体在 156GB 数据集上达到 30.72 PSNR 和 0.9650 SSIM,推理显存仅需 8GB。 该技术方案已在 2025 年香港前沿科技峰会上展示,可实现听障人士手语视频的实时生成。

  2. arXiv · AI33

    StoryBlender:具有时空动态的镜头间一致且可编辑的3D故事板

    StoryBlender 提出一种基于故事中心反思机制的 3D 故事板生成框架,实现镜头间一致性与显式可编辑性。 该系统采用三阶段流水线:语义空间定位构建连续性记忆图,规范资产实例化维持视觉身份,时空动态通过视觉指标实现布局设计。 实验表明,StoryBlender 在一致性和可编辑性上显著优于扩散模型和 3D 基准方法,支持对相机和视觉资产的直接精确编辑。

  3. arXiv · AI36

    WorldSonus:为生成式世界模型引入实时交互式空间音频

    研究团队推出 WorldSonus 框架,专为世界模型实现实时空间音频合成,RTF 低至 0.41。 该框架采用流式因果自回归扩散架构,结合音频中心字幕流水线与 chunk 索引提示调度,支持生成过程中的动态声音控制及立体声空间对齐。 实验显示,WorldSonus 在开放域视频到音频基准上性能匹配或超越最先进模型。

  4. arXiv · AI20

    CMC 框架利用控制型动态优化实现多样化动作定制

    CMC 框架通过控制型动态优化解决视频生成中的内容泄漏问题,实现多样化动作定制。 该方法利用随机最优控制引导生成动态,消除显式奖励并引入时间步自适应动作成本,使训练加速 2.5 倍。 CMC 有效缓解了内容泄漏,在保持预训练模型多样性的同时实现了具有竞争力的动作保真度。

10月7日周三
  1. arXiv · NLP21

    V-JEPA 2 对隐藏物体的保持机制:预测器与编码器的永久性差异分析

    研究表明,冻结的 V-JEPA 2 预测器在物体隐藏 0.3 秒后即丢失其记忆,而同编码器能持续 3.5 秒。 通过合成数据训练 3000 步可消除预测器的永久性缺失,将 IntPhys-2019 得分从 84.2% 提升至 93.3%。 该缺陷并非潜在预测的固有属性,因为使用 tube mask 继续训练即可恢复动态物体记忆。

  2. arXiv · ML23

    基于扩散模型的视频编辑:综述

    该综述系统梳理了基于扩散模型的图像与视频编辑技术,涵盖理论公式及图像领域关键方法。 文章按核心技术内在联系对视频编辑方法进行归类,并介绍了基于点和姿态引导的新应用。 作者还通过新提出的 V2VBench 进行了综合对比,并讨论了当前面临的挑战与未来研究方向。

  3. 可灵AI23

    可灵AI将在釜山国际电影节展示 Kling 4.0 影视创作应用

    可灵AI 将于 2026年10月10日至13日在釜山国际电影节展示 Kling 4.0,呈现由该模型参与制作的真实影视作品。 活动重点探讨模型如何理解导演构思、保持角色与叙事连贯性,并接入动画、实拍等影视工业生产流程。 此举旨在推动生成式 AI 从创作实验走向影视工业的专业生产环节。

10月6日周二