AV-Phys Bench 揭示联合音视频生成模型缺乏物理理解能力
AV-Phys Bench 基准测试显示,尽管 Seedance 2.0 表现最佳,但所有模型均未具备鲁棒的物理理解能力。 该基准涵盖稳态、事件过渡及环境过渡三类场景,模型在事件驱动过渡及反物理提示下性能显著下降。 跨模态物理一致性与过渡场景动力学是联合音视频生成领域当前的主要未解难题。
AV-Phys Bench 基准测试显示,尽管 Seedance 2.0 表现最佳,但所有模型均未具备鲁棒的物理理解能力。 该基准涵盖稳态、事件过渡及环境过渡三类场景,模型在事件驱动过渡及反物理提示下性能显著下降。 跨模态物理一致性与过渡场景动力学是联合音视频生成领域当前的主要未解难题。
ViDE 框架提出无需微调即可解决长视频生成中的多提示合成不一致问题,克服训练-推理差距导致的缺陷。 其核心包含 TiTAR 算法,利用离散短时傅里叶变换(DSTFT)对时序注意力得分进行重加权以减少帧间不一致;以及 PromptBlend 模块,通过细粒度提示对齐和自适应插值实现平滑语义过渡。 该框架在多项基线模型上取得一致且显著的性能提升,论文已被 TMLR 接收。
SemanticKV 提出一种免训练方法,利用规划器语义约束指导 KV 缓存压缩,在智能体自回归视频生成中实现高效合成。 该方法通过文本交叉注意力定位约束相关位置,按组平均并最大化注意力权重,以 top-k 选择保留高分缓存项。
针对视频伪造检测在人脸操纵和全生成视频间的泛化难题,研究提出双路检测器 MARS,在七个数据集的共享协议下取得 91.43% 的平均 AUROC,优于七种对比检测器。 残差路径对冻结的中间特征施加固定的差值高斯算子并结合外观上下文,语义路径调整编码器归一化参数进行帧级分类,由片段级门控机制融合两者预测结果。 MARS 已公开用于研究,通过控制性空间与时间移除实验验证了其显著图贡献的可信度。
团队提出MotionGraphicsBench基准,用于评估大语言模型在动态图形生成中结合空间、外观和时间要求的指令遵循能力。 该基准包含100个专家策划实例,每个输入静态SVG与运动编辑提示配对确定性验证程序。在47种配置下,来自32个LLM和12个提供商的pass@1范围从6.0%到67.7%。
summary_zh: 提出离线系统 AcrossVAM3.0,将多模态输入转化为版本化点云表示,单 GPU 最大内存占用 17.14 GB。 采用 MHAC 算法保留多假设匹配,在 10 视频留出集上平均 Jaccard 比基线提升 0.1394。
Video LLMs 计数失败源于读取故障而非对象恒存缺失,线性探针窗口解码达93%,但全局解码失效。 两种读取修复策略将同物体计数准确率从46.7%提升至65.0%(Oracle 66.7%),覆盖7B-30B系统。 REALCOUNT 独立视频审计显示该边界持续存在,最佳准确率55.6%(随机基线33.3%)。
针对弱监督视频异常检测中仅依赖帧特征幅值的局限性,提出一种结合 LLM 提取文本先验与字典学习进行归一化压缩的新方法。 通过 LLM 和辅助信息解决图像描述模型对相似帧文本描述不一致的问题,并利用跨模态注意力机制融合先验知识,构建更准确的特征表示。实验结果表明该方法在准确性和稳定性上优于现有 SOTA 方法。
V-STORM 将视频转化为 Spatio-Temporal Scene Graphs 并推导 Grounded Chain of Thought,构建了 260K 训练集和 3K 人工验证 benchmark。
summary_zh: AdaAlloc 提出免训练推理框架,解决长视频问答中视觉 Token 预算下时间覆盖与空间细节的权衡问题。 框架通过规划全局/局部分配策略,结合时间定位细化本地证据;在 LVBench 等四项基准测试中,比同等预算均匀采样提升最高 10.5 个百分点。
UniRGBA 框架通过零初始化通道扩展和 DoRA 微调,实现原生 Alpha 通道视频生成,无需复杂架构重构。 该模型采用 4 通道 VAE 和六项渐进重建损失,在视觉效果 RGBA 基准测试中,RGB 保真度超越 Wan-Alpha。
杰克琼斯采用豆包工作将直播录屏转为带时间戳的逐字稿,自动定位高光片段并生成剪辑计划。 该工具自动完成切割、变速、拼接及风险词剔除,将单条切片制作时间从20-30分钟缩短至约10分钟,支持批量处理多个直播间录屏。
summary_zh: 创作者leedain_leader_in实测Kling 4.0,一次性生成包含10个镜头的18秒广告及23秒幕后花絮,实现物理效果与台词的直接可用。
summary_zh: PickMoment 提出连续时间重构方法,通过单一确定性模型直接学习曝光窗口内任意子区间的平均模糊。 模型利用三个监督项训练:经验重建损失、重叠子区间加性损失及零区间极限锐利帧损失,统一单图去模糊、模糊转视频及时刻恢复任务。
PanoWorld提出了一种全景视频世界模型,可从单张图像和文本描述生成几何一致的360°视频。 通过引入深度一致性损失和轨迹一致性损失,该模型基于预训练视角视频模型进行优化,并构建了统一的PanoGeo数据集。 该工作证明全景视频生成应被视为几何建模问题,以满足具身智能应用对整体空间理解的需求。
NeurIPS 2026 论文提出 FacEDiT,一种基于面部运动填充的口型视频编辑模型,实现局部片段替换并保持身份一致性。 该模型采用自监督预训练任务,通过掩码控制恢复运动片段,并引入局部时间注意力偏差以优化唇音对齐和边界连续性。 FacEDiT 建立了统一的口型视频编辑与生成框架,且该模型可通过更改掩码模式扩展至肖像动画和唇音同步任务。
研究团队提出首个流式视频眼动引导基准 StreamGaze,用于评估多模态大语言模型在时序与主动推理中对人类视线信号的利用能力。 该基准包含过去、现在和主动三类任务,并配套构建了结合凝视轨迹生成时空对齐问答数据的处理流水线。 实验显示当前多模态大语言模型性能与人类存在显著差距,暴露出视线时序推理与意图建模的局限,相关数据与代码已公开。
LSD-3D 提出了一种直接生成具有准确几何的大型三维驾驶场景的方法,实现了包含物体持久性的因果新颖视图合成。 该方法通过结合代理几何与环境表示的生成以及从学习到的二维图像先验中的分数蒸馏,实现了对几何和高分辨率纹理的高可控性,可基于地图布局进行条件生成。
NVIDIA 在 Hugging Face 上发布四个 Cosmos 3 Nano 开放权重模型,包括 Transfer-Auto、Sim-Auto、Sim-Transfer 和 Sim-Bimanual,支持多传感器驾驶仿真与双臂机器人交互。模型采用 OpenMDW1.1 许可证,提供商业与非商业用途权利,并附带分阶段后训练配方。
推荐理由:NVIDIA 发布四个 Cosmos 3 开放权重模型,提供从驾驶到机器人交互仿真的完整工作流,读者可评估其开源生态价值。
Google DeepMind 在 Gemini API 和 Gemini for business 正式发布 Gemini Omni 1.2 Flash,原生视频时长从 10 秒提升至 15 秒,并支持多轮对话式编辑与更强的参考遵循。新版价格较 Omni 1.1 下降 30%,720p 视频每生成 1 秒成本为 0.07 美元。
推荐理由:视频生成时长提升至15秒且价格下降30%,多轮对话编辑能力支持局部修正,有助于降低规模化视频创作成本。
豆包工作支持抓热点、做方案、出内容、管素材、看反馈五类营销场景,提供对应 Skill 与提示词,可结合品牌信息直接调用。 功能涵盖调用“营销热点策略师”与“全案营销”技能生成选题和 PPT 全案,支持“无限画布”统一视觉设计,并调用 Seedance 2.5 生成约 30s 真人宣传短片。
可灵AI宣布Kling 4.0 Flash现已全面开放,所有用户均可通过官网及API使用。 该模型支持通过MCP、CLI及AI插件接入,创作者还可在Adobe Photoshop、Premiere Pro和After Effects中通过可灵插件使用Kling 4.0 Flash。
创作者 SwordSpeed 利用 Kling 4.0 生成 30 秒科幻短片《THE CABLE》,重点测试模型在动态中保留复古手绘风格、角色一致性及零重力物理效果的能力。
EvoWorld 提出“视野外因果演化”问题及脑-渲染器协作框架,将视觉语言模型作为世界大脑维持状态并推理事件后果。 实验表明,EvoWorld 相比近期模型显著提升了事件条件因果演化能力,同时保持视觉质量与一致性。 该工作建立了推理引导下超越当前视野的自主世界演化基准,填补了扩散模型在状态维护与因果一致性上的机制空白。
EmoReward 提出自进化训练机制,通过蒸馏实际训练运行中的奖励证据可靠性,自适应指导多奖励权重分配,解决固定奖励无法捕捉情感意图及 RLHF 难以规模化问题。
NEXTGAN 提出了一种通过回归特征位移来训练标量 critic 的 GAN 方法,支持最高 14B 参数预训练生成器的适配。 在 ImageNet 上实现一步 FID 1.54,Wan2.1-1.3B 模型两步 VBench 得分达 83.13,领先 rCM 和 AnyFlow。
纯文本训练的 Qwen3-8B 在视频时间定位任务上实现零样本性能,Charades-STA 达成 14.45 mtIoU,QV-Highlights 达成 20.72 mtIoU。 采用 LoRA 适配 134K 样本语料,引入 NER 技术映射最近实体嵌入,解决视频帧与文本间的模态差距。 结果优于现有四种基线,部分实现从文本到视频的跨模态迁移,推动无配对标注的多模态模型训练。
CAST-Bench 发布针对多镜头音视频生成的基准测试,包含 900 个提示词和 18 项指标,旨在追踪每个生成声音是否源自正确源、同步及语义准确。 该基准测试了 12 个代表性生成器,发现视觉质量接近饱和,但音频语义分数差异显著;多镜头提示词在子集评分规则下得分较低,多人语音及跨镜头事件保持仍为主要挑战。
NVIDIA发布名为Cosmos的共享框架,适配世界基础模型以支持物理AI的实时交互式世界模拟。该框架通过流式视觉观测响应用户动作与场景控制,支持预测动作的视觉后果以及从外部模拟器维护的物理状态生成观测。研究展示了相机导航、机器人操作、可控视频迁移和多视角自动驾驶模拟等示例,代码与模型检查点已公开。
研究提出包含 6,614 个视频的 MechScam 基准及 ScamCourt 辩论框架,用于检测网络诈骗视频。 ScamCourt 通过控辩双方辩论及法官基于验证引用的决策,表现优于更大规模的 MLLM 及同基座微调基线。 该方案降低了误报率,增强了对误导性论据的抵抗能力,提升了检测的可靠性与可解释性。
TurnWise 框架通过回合级 GRPO 将流式视频理解的训练与决策对齐,优于现有强化学习方法。 该方法利用静默完成前缀评分构建组相对优势,并采用回合平均策略优化以平衡响应与等待决策的权重。
AI 视频创作者 TechHalla 实测 Kling 4.0 与 Kling 4.0 Flash,在真实项目中验证了模型在多镜头硬切、复杂物理动作及长时角色一致性上的表现。
大晓机器人联合南洋理工大学S-Lab发布世界模型Mundo。该模型支持输入1至12张图像构建可探索三维空间,并将物体质量、摩擦等物理属性纳入场景程序。Mundo通过物理引擎计算运动碰撞,结合视频模型渲染,使场景能响应动作。此能力为机器人导航与操作训练提供环境支持,助力其进入商业场景。
研究在六个开源权重 MLLM 上评估文本、音频、视频等输入表征的效度。七项新闻相关构念中,原生视频输入的 macro-F1 稳定在 .70-.77,而提取文本输入的 macro-F1 在 .52-.80 之间波动。
CleanVideo 框架通过低维子空间干预和三模态门控机制,在保持视觉保真度和时间连贯性的同时,有效擦除视频生成模型中的目标概念。 该框架联合处理时空视觉特征、时间步信号和文本语义,决定何时、何地及是否进行干预,并在可明确定义自然替代概念时引导被擦除内容。在三个视频扩散模型上的实验显示,其在帧级和概念恢复攻击评估中优于现有基线。
提出基于信息论的关键帧采样框架,最大化查询条件下帧与答案的条件互信息。 使用 Qwen2.5-VL-7B 模型在 32 帧预算下,较均匀采样在 LVBench 提升 10.1 分,VideoMME 长视频子集提升 4.4 分。 方法在同等帧预算下优于现有采样策略,被 WACV 2027 接收。
VidVec 结合中间层嵌入与校准 MLLM 头部实现零样本视频-文本检索,无需训练即可获得强劲性能。 该方法采用基于文本的轻量化优化策略,利用稠密视频描述作为视频语义的文本替代,无需配对的视觉数据。 实验表明,这种仅基于文本的优化效果优于使用配对视频-文本监督的方法,且在常见基准测试中达到了当前最佳水平。
DreamX 利用预训练视频扩散模型作为通用潜在动作学习者,在 LARY-Bench 基准测试中取得潜在动作模型的最先进性能。 该方法将视频帧压缩 300 倍(从 1,200 到 4 个 token),提取解耦视觉外观的潜在动作,支持跨形态的零样本动作迁移。 这种共享动作接口实现了任意到任意的视频迁移,并降低了基于视频扩散策略的计算成本。
研究提出 ReVi 框架,旨在从小说直接生成受限于固定时长的自包含音视频回顾。该双循环多智能体系统通过“先编辑后生成”策略,在计划阶段分配事件时间与镜头,并支持跨小说递归自我改进。实验显示 ReVi 在回顾质量和时长合规性上优于基线模型。
导演 Ash Koosha 实测 Kling 4.0,预计该模型可使工作流中废弃素材减少至少 50%。 模型支持单次生成最长 30 秒视频,并强化多镜头生成中的镜头调度与定向编辑能力。 更稳定的运镜与物理交互有助于减少“废片”,提升长片叙事中素材的可用性与创意控制力。