跳到正文
11月10日周二
  1. arXiv · AI26

    AV-Phys Bench 揭示联合音视频生成模型缺乏物理理解能力

    AV-Phys Bench 基准测试显示,尽管 Seedance 2.0 表现最佳,但所有模型均未具备鲁棒的物理理解能力。 该基准涵盖稳态、事件过渡及环境过渡三类场景,模型在事件驱动过渡及反物理提示下性能显著下降。 跨模态物理一致性与过渡场景动力学是联合音视频生成领域当前的主要未解难题。

  2. arXiv · AI26

    ViDE: 基于无调优的视频一致性方法,通过时序注意力重加权与提示融合实现

    ViDE 框架提出无需微调即可解决长视频生成中的多提示合成不一致问题,克服训练-推理差距导致的缺陷。 其核心包含 TiTAR 算法,利用离散短时傅里叶变换(DSTFT)对时序注意力得分进行重加权以减少帧间不一致;以及 PromptBlend 模块,通过细粒度提示对齐和自适应插值实现平滑语义过渡。 该框架在多项基线模型上取得一致且显著的性能提升,论文已被 TMLR 接收。

  3. arXiv · AI25

    MARS:用于视频伪造检测的多尺度外观残差流方法

    针对视频伪造检测在人脸操纵和全生成视频间的泛化难题,研究提出双路检测器 MARS,在七个数据集的共享协议下取得 91.43% 的平均 AUROC,优于七种对比检测器。 残差路径对冻结的中间特征施加固定的差值高斯算子并结合外观上下文,语义路径调整编码器归一化参数进行帧级分类,由片段级门控机制融合两者预测结果。 MARS 已公开用于研究,通过控制性空间与时间移除实验验证了其显著图贡献的可信度。

11月9日周一
  1. arXiv · AI31

    基于知识牵引的多模态弱监督视频异常检测方法

    针对弱监督视频异常检测中仅依赖帧特征幅值的局限性,提出一种结合 LLM 提取文本先验与字典学习进行归一化压缩的新方法。 通过 LLM 和辅助信息解决图像描述模型对相似帧文本描述不一致的问题,并利用跨模态注意力机制融合先验知识,构建更准确的特征表示。实验结果表明该方法在准确性和稳定性上优于现有 SOTA 方法。

11月6日周五
  1. 豆包工作27

    杰克琼斯使用豆包工作批量剪辑直播视频

    杰克琼斯采用豆包工作将直播录屏转为带时间戳的逐字稿,自动定位高光片段并生成剪辑计划。 该工具自动完成切割、变速、拼接及风险词剔除,将单条切片制作时间从20-30分钟缩短至约10分钟,支持批量处理多个直播间录屏。

  2. arXiv · AI32

    PanoWorld:基于几何一致性约束的全景视频世界建模

    PanoWorld提出了一种全景视频世界模型,可从单张图像和文本描述生成几何一致的360°视频。 通过引入深度一致性损失和轨迹一致性损失,该模型基于预训练视角视频模型进行优化,并构建了统一的PanoGeo数据集。 该工作证明全景视频生成应被视为几何建模问题,以满足具身智能应用对整体空间理解的需求。

  3. arXiv · AI35

    FacEDiT: 通过面部运动填充实现口型视频编辑

    NeurIPS 2026 论文提出 FacEDiT,一种基于面部运动填充的口型视频编辑模型,实现局部片段替换并保持身份一致性。 该模型采用自监督预训练任务,通过掩码控制恢复运动片段,并引入局部时间注意力偏差以优化唇音对齐和边界连续性。 FacEDiT 建立了统一的口型视频编辑与生成框架,且该模型可通过更改掩码模式扩展至肖像动画和唇音同步任务。

  4. arXiv · AI27

    StreamGaze:面向流式视频的眼动引导时序推理与主动理解基准

    研究团队提出首个流式视频眼动引导基准 StreamGaze,用于评估多模态大语言模型在时序与主动推理中对人类视线信号的利用能力。 该基准包含过去、现在和主动三类任务,并配套构建了结合凝视轨迹生成时空对齐问答数据的处理流水线。 实验显示当前多模态大语言模型性能与人类存在显著差距,暴露出视线时序推理与意图建模的局限,相关数据与代码已公开。

  5. arXiv · AI28

    LSD-3D:基于几何约束的大规模三维驾驶场景生成

    LSD-3D 提出了一种直接生成具有准确几何的大型三维驾驶场景的方法,实现了包含物体持久性的因果新颖视图合成。 该方法通过结合代理几何与环境表示的生成以及从学习到的二维图像先验中的分数蒸馏,实现了对几何和高分辨率纹理的高可控性,可基于地图布局进行条件生成。

  6. Hugging Face Blog77

    NVIDIA 发布 Cosmos 3 开放权重模型用于交互式世界仿真

    NVIDIA 在 Hugging Face 上发布四个 Cosmos 3 Nano 开放权重模型,包括 Transfer-Auto、Sim-Auto、Sim-Transfer 和 Sim-Bimanual,支持多传感器驾驶仿真与双臂机器人交互。模型采用 OpenMDW1.1 许可证,提供商业与非商业用途权利,并附带分阶段后训练配方。

    推荐理由:NVIDIA 发布四个 Cosmos 3 开放权重模型,提供从驾驶到机器人交互仿真的完整工作流,读者可评估其开源生态价值。

  7. Google DeepMind77

    Google DeepMind 发布 Gemini Omni 1.2 Flash:支持 15 秒视频生成

    Google DeepMind 在 Gemini API 和 Gemini for business 正式发布 Gemini Omni 1.2 Flash,原生视频时长从 10 秒提升至 15 秒,并支持多轮对话式编辑与更强的参考遵循。新版价格较 Omni 1.1 下降 30%,720p 视频每生成 1 秒成本为 0.07 美元。

    推荐理由:视频生成时长提升至15秒且价格下降30%,多轮对话编辑能力支持局部修正,有助于降低规模化视频创作成本。

11月5日周四
  1. 豆包工作42

    豆包工作覆盖营销五类实战场景,附同款 Skill 与提示词

    豆包工作支持抓热点、做方案、出内容、管素材、看反馈五类营销场景,提供对应 Skill 与提示词,可结合品牌信息直接调用。 功能涵盖调用“营销热点策略师”与“全案营销”技能生成选题和 PPT 全案,支持“无限画布”统一视觉设计,并调用 Seedance 2.5 生成约 30s 真人宣传短片。

  2. arXiv · AI45

    EvoWorld:面向生成视频模型视野外世界演化的因果推理框架

    EvoWorld 提出“视野外因果演化”问题及脑-渲染器协作框架,将视觉语言模型作为世界大脑维持状态并推理事件后果。 实验表明,EvoWorld 相比近期模型显著提升了事件条件因果演化能力,同时保持视觉质量与一致性。 该工作建立了推理引导下超越当前视野的自主世界演化基准,填补了扩散模型在状态维护与因果一致性上的机制空白。

  3. arXiv · AI26

    Qwen3-8B 通过纯文本训练与 NER 方法实现零样本视频时间定位

    纯文本训练的 Qwen3-8B 在视频时间定位任务上实现零样本性能,Charades-STA 达成 14.45 mtIoU,QV-Highlights 达成 20.72 mtIoU。 采用 LoRA 适配 134K 样本语料,引入 NER 技术映射最近实体嵌入,解决视频帧与文本间的模态差距。 结果优于现有四种基线,部分实现从文本到视频的跨模态迁移,推动无配对标注的多模态模型训练。

  4. arXiv · AI26

    CAST-Bench:追踪多镜头音视频生成中每个声音的来源

    CAST-Bench 发布针对多镜头音视频生成的基准测试,包含 900 个提示词和 18 项指标,旨在追踪每个生成声音是否源自正确源、同步及语义准确。 该基准测试了 12 个代表性生成器,发现视觉质量接近饱和,但音频语义分数差异显著;多镜头提示词在子集评分规则下得分较低,多人语音及跨镜头事件保持仍为主要挑战。

  5. arXiv · AI57

    NVIDIA发布Cosmos物理AI交互式世界模拟框架

    NVIDIA发布名为Cosmos的共享框架,适配世界基础模型以支持物理AI的实时交互式世界模拟。该框架通过流式视觉观测响应用户动作与场景控制,支持预测动作的视觉后果以及从外部模拟器维护的物理状态生成观测。研究展示了相机导航、机器人操作、可控视频迁移和多视角自动驾驶模拟等示例,代码与模型检查点已公开。

  6. arXiv · AI26

    MechScam 与 ScamCourt:面向网络诈骗视频检测的机制级基准与可验证辩论框架

    研究提出包含 6,614 个视频的 MechScam 基准及 ScamCourt 辩论框架,用于检测网络诈骗视频。 ScamCourt 通过控辩双方辩论及法官基于验证引用的决策,表现优于更大规模的 MLLM 及同基座微调基线。 该方案降低了误报率,增强了对误导性论据的抵抗能力,提升了检测的可靠性与可解释性。

11月4日周三
  1. 商汤科技SenseTime44

    大晓机器人联合南洋理工大学发布可交互世界模型 Mundo

    大晓机器人联合南洋理工大学S-Lab发布世界模型Mundo。该模型支持输入1至12张图像构建可探索三维空间,并将物体质量、摩擦等物理属性纳入场景程序。Mundo通过物理引擎计算运动碰撞,结合视频模型渲染,使场景能响应动作。此能力为机器人导航与操作训练提供环境支持,助力其进入商业场景。

  2. arXiv · AI28

    CleanVideo:面向文本到视频扩散模型的自适应概念擦除框架

    CleanVideo 框架通过低维子空间干预和三模态门控机制,在保持视觉保真度和时间连贯性的同时,有效擦除视频生成模型中的目标概念。 该框架联合处理时空视觉特征、时间步信号和文本语义,决定何时、何地及是否进行干预,并在可明确定义自然替代概念时引导被擦除内容。在三个视频扩散模型上的实验显示,其在帧级和概念恢复攻击评估中优于现有基线。

  3. arXiv · AI35

    VidVec 利用视频 MLLM 嵌入实现视频-文本检索

    VidVec 结合中间层嵌入与校准 MLLM 头部实现零样本视频-文本检索,无需训练即可获得强劲性能。 该方法采用基于文本的轻量化优化策略,利用稠密视频描述作为视频语义的文本替代,无需配对的视觉数据。 实验表明,这种仅基于文本的优化效果优于使用配对视频-文本监督的方法,且在常见基准测试中达到了当前最佳水平。

  4. arXiv · AI35

    DreamX: 视频扩散模型作为通用潜在动作学习者

    DreamX 利用预训练视频扩散模型作为通用潜在动作学习者,在 LARY-Bench 基准测试中取得潜在动作模型的最先进性能。 该方法将视频帧压缩 300 倍(从 1,200 到 4 个 token),提取解耦视觉外观的潜在动作,支持跨形态的零样本动作迁移。 这种共享动作接口实现了任意到任意的视频迁移,并降低了基于视频扩散策略的计算成本。

11月3日周二
  1. 可灵AI32

    Kling 4.0 实战测评室|Ash Koosha:长镜头的价值,是让角色情绪有时间生长

    导演 Ash Koosha 实测 Kling 4.0,预计该模型可使工作流中废弃素材减少至少 50%。 模型支持单次生成最长 30 秒视频,并强化多镜头生成中的镜头调度与定向编辑能力。 更稳定的运镜与物理交互有助于减少“废片”,提升长片叙事中素材的可用性与创意控制力。