TARA 方法提出跨视角物理对抗攻击 针对世界模型与视频理解模型
研究者提出 TARA 方法,通过轨迹感知优化让单一可打印物理纹理在多变视角下持续干扰模型。 该攻击利用对比对齐技术,使不同视频轨迹下的受害表示收敛至共享对抗区域以实施物理威胁。 这揭示了世界模型和视频理解模型在现实动态环境中面临的基础安全挑战。
研究者提出 TARA 方法,通过轨迹感知优化让单一可打印物理纹理在多变视角下持续干扰模型。 该攻击利用对比对齐技术,使不同视频轨迹下的受害表示收敛至共享对抗区域以实施物理威胁。 这揭示了世界模型和视频理解模型在现实动态环境中面临的基础安全挑战。
Prospective Forcing 是一种多头预测框架,通过向自回归视频表示注入长程预测信号来解决长时间 rollout 中的画质下降问题。 该方法基于滚动窗口生成器,附加轻量级、偏移特定的头,独立预测不同未来时间偏移的 chunks,并在推理时使用已接受的未来 chunks 预测来跳过完整窗口骨干执行以加速采样。
提出 GeoFix 框架,通过单一几何奖励提升 4D 生成的几何一致性与视觉质量,避免传统方法对纹理细节的损害。 该框架利用静态场景区域的跨视图深度一致性作为奖励指标,并根据相机视场重叠依赖趋势进行校准,防止小相机移动被误判为更好的几何结构。 GeoFix 在 WorldScore 3D 一致性上提升 39%,VBench 质量得分提高 4%。
研究提出结构化事件证据(SEE)Schema 及 GRAB 算法,解决视频大语言模型在平衡模式合规、任务准确性与推理预算时的多目标优化瓶颈。GRAB 在奖励空间内动态计算帕累托最优权重,相对 GRPO 运行时开销极低(<0.002%),避免了对静态权重的繁琐调优。基于 PARSE-60K 数据集训练的 PARSE-4B 模型,在保持竞争准确度的同时,生成 token 数减少 13% 至 39%。
LabInstruct 发布,这是一个针对真实实验室情境化指令视频生成的基准,包含 204 项任务,覆盖 5 个科学领域。 该基准包含真实参考执行记录,以及关于物体、动作、接触和状态转换的结构化标注,并用于评估 8 个前沿 image-to-video 模型。 评估结果显示,视觉合理的视频生成结果经常在程序上存在错误,揭示了视觉真实感与实验指令可靠性之间的显著差距。
OmniCompass 基准包含 820 个视频和 2,460 个实例,定义视觉与视听两条评估轨道,涵盖时间定位、空间定位及问答任务。 50 个多模态大模型(MLLM)的评估结果显示,开源模型在视听理解上落后于专有模型,且头部模型在精准定位上仍具挑战。
IsoVRBench 发布 8,000 对基于受控干预的视频偏好数据,覆盖八种干预类型,无需人工标注即可评估视频属性区分能力。 基准揭示 SOTA 奖励模型无法预测时序混乱缺陷,在重排帧任务中准确率仅 60.8%(人类 100%),且现有排名未预警此失败。
研究提出 U-SRA 扩散 U-Net 架构,通过显式对齐去噪过程中的弱层与强层内部表征,解决表征意义不足问题。该架构结合交叉注意力机制实现音视频同步,在视频背景音乐生成基准测试中,其视频音乐对齐度与整体音乐质量均超越当前最先进水平。
基于 5.01B 参数文生视频扩散 Transformer 的 ACROSSVAM2.0 结合置信加权头部与不对称 PCGrad,在 24 提示词评估中较对照降低 9.7% 跟踪循环误差。 方法通过零初始化残差反馈保护初始生成器,四次消融实验中种子级 KLT 误差平均降低 0.00711,VBench 六维度表现与对照持平。 研究结论表明该冲突感知适应提升了对应一致性,但未广泛改善视频感知质量。
Reels-RSI 是开源视频导演框架,通过程序级自我改进而非权重更新提升视频质量。在 111 个视频案例中,其学习规则捕获了早期 4 个潜在缺陷,且后续无新缺陷。 该系统将静态检查捕获的经验编译为带测试用例的规则,确保新规则能回溯审计旧内容;弱导演在有规则保护下违规次数从 30 次降至 5 次。
Higgsfield 宣布支持生成超 10 分钟的 AI 视频,并将时长从 1 分钟提升了一个数量级。 平台集成 GPT-6 Astra 用于长视频生成,GPT-Image-2.5 用于精确视觉,以及 GPT-Live 用于语音电影制作。 这些工具旨在为创作者提供更完整的 AI 视频制作路径。
多模态智能体 MotionCoach 通过自验证与多轮工具使用生成专业动作编辑引导,在 VPMEBench 上将 Seedance 2.0 综合得分从 55.1 提升至 65.6。 该智能体在 MotionCoach-SFT-10k 上冷启动,并基于 MotionCoach-RL-2k 使用 GRPO 算法进行强化学习优化。 无需重新训练视频编辑模型即可实现精确的专业动作编辑。
研究发现视频扩散模型内部状态线性解码物理合理性达81.27%准确率,优于V-JEPA等基线。该信号存在于去噪Transformer内部而非VAE输入层,表明生成式去噪过程会副产物地形成物理表征。
Golden Anchor Learning (GAL) 框架通过下游视频反馈优化 T2I 模型,在四个 I2V 模型上使 VBench 平均分提升 2.97%–8.46%,动态度提高 5.62%–38.24%。 GAL 将视频奖励转化为图像级偏好,用于 DPO 微调 T2I 生成器;尽管仅在 HunyuanVideo-1.5 上训练,效果仍可泛化至其他 I2V 模型。
研究者提出 Coral-KV 框架,通过跨层预测与残差量化压缩视频 KV 缓存。 在 HY-WorldPlay 和 MAGI-1 模型上,Coral-KV 复用配置相比 QVG-4 分别提升 PSNR 0.32 dB 和 4.95 dB,同时减少 48% 和 37% 的缓存内存占用。
DiffusionART 提出一种无需可微奖励模型即可高效训练扩散模型的在线强化学习方法。 该方法通过聚合奖励方向消除一致性力,并用信任域掩码更新替代指数移动平均(EMA)以稳定训练。
韩国视觉创作者 Oasis 针对 Kling 4.0进行了三组实战测试,重点考察超现实场景下的人物表演自然度、多图转场稳定性以及实拍与卡通风格的转换连贯性。测试结果显示,Kling 4.0 能够较好地保留静态图像中的色调与空间质感,在多人互动、场景切换及混合风格视频生成中保持了较高的角色一致性与动作逻辑。
阿里巴巴AI支持NBA中国赛2026,NBA Chat首次引入多模态交互并接入NBA知识图谱,新增基于马布里等风格的特色Agent。 万相Wan 3.0升级360度实时回放,10-15秒生成“主角时刻”视频,并通过AI Fan Cam增强现场互动体验。 2025年10月阿里云成为NBA中国官方云计算与AI合作伙伴,合作覆盖多项赛事及数字平台。
Vidu Q4 Preview首发上线RunningHub,540P视频生成价格低至3分/秒。 该模型支持3至16秒时长,参考音色及最高4K分辨率,并优化了人物表演细节与运镜流畅度。 RunningHub集成RHTV与Blender插件,提供“人物调节”及“3D导演台”功能,降低创作者制作门槛。
论文提出 FreshMem,一种受大脑启发、无需训练的频率-空间混合记忆网络,用于 MLLMs 在线流式视频理解。 在 Qwen2-VL 基线上,FreshMem 分别提升 StreamingBench、OV-Bench、OVO-Bench 5.20%、4.52% 和 2.34%,性能优于若干全量微调方法。 该成果已被 NeurIPS 2026 接收,为长时流式视频理解提供高效新范式。
论文提出 ME-World 模型,将多智能体第一人称世界建模定义为共享世界中多路 ego 流同步生成,并要求跨视角动作一致性与状态更新一致传播。 模型在共享 token 序列中联合去噪,基于所有智能体目标视角位姿与共享环境记忆生成内容,训练与评测使用真实及合成多智能体数据。 实验表明 ME-World 在共享世界一致性、动作控制、身份保持与视频质量上优于现有方法。
VINCIE-NExT 提出统一框架,通过上下文视觉演示将图像编辑能力迁移至视频,避免依赖昂贵的大规模配对视频数据。 该模型将视频编辑分解为“视频-图像-图像-视频”子任务链,引入位置编码在共享空间坐标系中对齐图像演示与视频帧,实现像素级外观传播。 在 OpenVE-Bench 上取得了最先进性能,且无需重新训练即可通过增加计算量提升编辑质量。
summary_zh: Perception Test 2026 挑战赛在 ECCV 2026 举办,聚焦空间智能,新增 KilometerAudio 和 KilometerVision 两个城市级步行视频赛道。
基于复数融合的开词表音视频事件定位模型在 OV-AVEBench 未见类别划分中刷新 SOTA,达到 66.5% Acc 和 59.1% Seg-F1。 模型冻结视觉与音频编码器,仅训练时序注意力块和复数融合 CVNN。四流复数架构在未见类别 Acc 上较微调基线提升 1.6 个百分点。 该论文已被 2026 年英国计算机视觉会议(BMVC)接收。
summary_zh: CRP 方法通过预测残差来降低因果视频模型对历史的依赖,无需使用双向教师模型或复杂的蒸馏管线。 实验显示 CRP 将性能与同等设置的基线模型的 6.14 分差距大幅缩小。
研究证明,使用无字幕、无文本损失的原始视频对 Qwen3-1.7B 进行中间训练,可显著提升模型在视觉基准上的表现。 在四个视频基准上平均提高 2.9 分,十个图像基准上提高 5.1 分,且在 14 个文本基准上保持性能(平均 48.9 分,未训练模型为 48.0 分)。 结果表明,预测下一个视觉 token 优于预测字幕,证明视频中间训练可保持纯自监督,无需承担自动字幕生成的计算开销或标注噪声。
无训练框架 SpectralCache 利用相邻去噪步间奇异子空间稳定性,通过线性外推估计低维奇异值并跳选主干计算,显著加速扩散世界模型推理。 在 HunyuanWorld-Voyager-13B 模型上,该方法将推理速度提升 5.22 倍,静态场景 WorldScore 保持 65.90。 该方法在不牺牲生成质量的前提下,大幅降低了交互式环境生成所需的推理开销。
FastBench 是一个包含 306 个问答对的基准,用于评估流式 VLM 在高动态实时视频流中的感知能力,并提出了免训练的基线模型 ProactiveFrame。 Gemini-3.5-Flash 在测试中仅得 50.7% 分数;Qwen3-VL-8B 在 24 FPS 采样下得分从 2 FPS 时的 32.9% 提升至 44.6%。
DataVista 发布,这是首个数据视频理解基准,含 961 个视频和 6,775 道问题,覆盖 19 个 MLLM。 基准采用三级能力框架(数据感知、时间推理、叙事理解)和 10 种细分题型,横跨 5 大主题域。 最佳模型 Gemini-3.1-Pro 整体准确率仅 70.0%,远低于人类专家,因果推理和叙事结构表现最差。
提出基于损失引导多专家 GAN 的手语视频合成框架,通过三个专用判别器指导生成器分支实现隐式特征专业化。 该框架采用双路径卷积 - Transformer 设计,1.3B 参数变体在 156GB 数据集上达到 30.72 PSNR 和 0.9650 SSIM,推理显存仅需 8GB。 该技术方案已在 2025 年香港前沿科技峰会上展示,可实现听障人士手语视频的实时生成。
summary_zh: StressDream 提出了一种引导扩散模型世界模型(WMs)生成高影响且合理结果的方法,旨在优化机器人策略评估。 该方法结合视觉语言模型语义目标与合理性目标,优化初始噪声以生成指定文本描述的结果(如任务失败),避免分布外噪声。
StoryBlender 提出一种基于故事中心反思机制的 3D 故事板生成框架,实现镜头间一致性与显式可编辑性。 该系统采用三阶段流水线:语义空间定位构建连续性记忆图,规范资产实例化维持视觉身份,时空动态通过视觉指标实现布局设计。 实验表明,StoryBlender 在一致性和可编辑性上显著优于扩散模型和 3D 基准方法,支持对相机和视觉资产的直接精确编辑。
研究团队推出 WorldSonus 框架,专为世界模型实现实时空间音频合成,RTF 低至 0.41。 该框架采用流式因果自回归扩散架构,结合音频中心字幕流水线与 chunk 索引提示调度,支持生成过程中的动态声音控制及立体声空间对齐。 实验显示,WorldSonus 在开放域视频到音频基准上性能匹配或超越最先进模型。
CMC 框架通过控制型动态优化解决视频生成中的内容泄漏问题,实现多样化动作定制。 该方法利用随机最优控制引导生成动态,消除显式奖励并引入时间步自适应动作成本,使训练加速 2.5 倍。 CMC 有效缓解了内容泄漏,在保持预训练模型多样性的同时实现了具有竞争力的动作保真度。
研究表明,冻结的 V-JEPA 2 预测器在物体隐藏 0.3 秒后即丢失其记忆,而同编码器能持续 3.5 秒。 通过合成数据训练 3000 步可消除预测器的永久性缺失,将 IntPhys-2019 得分从 84.2% 提升至 93.3%。 该缺陷并非潜在预测的固有属性,因为使用 tube mask 继续训练即可恢复动态物体记忆。
该综述系统梳理了基于扩散模型的图像与视频编辑技术,涵盖理论公式及图像领域关键方法。 文章按核心技术内在联系对视频编辑方法进行归类,并介绍了基于点和姿态引导的新应用。 作者还通过新提出的 V2VBench 进行了综合对比,并讨论了当前面临的挑战与未来研究方向。
提出 ResNet-BiLSTM 模型用于游戏视频的多标签感知缺陷检测,在基准数据集上取得 85.78% 的 F1 分数。 模型利用时序依赖建模提升准确率,并发布了包含 77,969 个视频片段、约 120 万帧及 5 类缺陷组合的新数据集。 该工作有助于节省传统人工测试中耗费的资源与时间。
可灵AI 将于 2026年10月10日至13日在釜山国际电影节展示 Kling 4.0,呈现由该模型参与制作的真实影视作品。 活动重点探讨模型如何理解导演构思、保持角色与叙事连贯性,并接入动画、实拍等影视工业生产流程。 此举旨在推动生成式 AI 从创作实验走向影视工业的专业生产环节。
《The Beat》全网曝光超 500 万,其制作依托 Kling 4.0 实现 30 秒一镜到底叙事。 Kling 4.0 支持单次原生生成 30 秒视频及 15 项参考素材,显著提升动态运镜稳定性。 该模型即将上线 4K HDR 格式输出,Kling 4.0 Flash 已向黑金年卡会员开放体验。
研究者提出 CultureScore 评估框架,将视频生成的文化忠实度拆解为 Identity、Context、Behavior 三个维度,覆盖 10 个国家、3 个模型共 6,174 个生成视频。