跳到正文
10月28日周三
  1. arXiv · AI33

    TAPESTRY:面向视频生成与机器人控制的单一骨干网络

    TAPESTRY 将机器人动作视为视频模型潜空间中的单补丁 Token,复用预训练视频扩散 Transformer 构建机器人策略,推理时无需生成视频。 模型通过线性投影将动作映射至 VAE 补丁维度,采用视频、联合视频动作及仅动作三种扩散目标优化共享骨干。 在消费者硬件上,单次 DDIM 步即可生成动作块,每动作块耗时 84 ms,显著降低推理成本并避免完整视频生成开销。

  2. arXiv · AI21

    LociArt:自由风格局部视频风格化的统一范式

    提出 LociArt 统一范式实现自由风格局部视频风格化,明确指定风格化区域与样式。 核心组件 GRNStyle 基于生成细化网络并引入极坐标风格感知掩码,结合原始掩码空间支持以集成时空上下文。构建了包含 10 万对局部风格化样本的 LociArt-100K 数据集,实验显示 GRNStyle 在区域风格质量和空间控制上优于现有方法。

  3. arXiv · AI41

    Agentic Self-Improvement:面向图像转视频一致性的智能体优化框架

    提出“Agentic Self-Improvement”框架,将图像转视频合成重构为闭环目标导向优化,人类偏好测试中胜率最高达69%。 该框架采用两阶段方法:先利用多模态大语言模型通过场景图查询和常见错误问题优化提示词,再用贝叶斯优化协同调整随机种子和CFG scale。 该方法增强了现有视频生成模型的可预测性和可控性,推动其从随机试验转向可靠的生产级工具。

  4. arXiv · AI39

    DyMoS:通过重平衡参考帧优势提升图生视频模型的动态表现

    研究识别出参考帧优势是导致图生视频模型运动抑制的关键机制。非参考帧对参考帧键token分配过多自注意力,导致参考信息过度传播。 该方法提出无需训练且模型无关的DyMoS,在初始去噪步骤中重新平衡注意力路径。它不改变输入图像和模型权重,仅引入单一标量参数控制运动强度。 实验表明,DyMoS在多个SOTA图生视频骨干网上一致提升了运动动态,同时保持视觉质量和参考图像保真度。

  5. arXiv · AI34

    HiMu: 用于长视频问答的分层多模态帧选择框架

    HiMu 是一个免训练的分层多模态帧选择框架,通过单次 LLM 调用将查询分解为逻辑树,在标准 16 帧预算下实现了 SOTA 准确率。该框架利用 CLIP、OCR 等专家信号生成帧满足度曲线,且匹配 4 倍帧预算的均匀采样精度。它作为即插即用模块,在 Video-MME 等基准上显著提升了 7 种 MLLM 的表现。

  6. arXiv · AI26

    LARVA:通过联合潜在推理与观察实现智能体视频理解

    提出 LARVA 框架,通过联合学习的潜在推理和视觉观察来蒸馏多轮视频智能体。观察者向推理者传递紧凑连续表示,替代文本描述以指导下一步动作。 使用 4B 和 7B 骨干模型,在 VideoHolmes 等基准上,7B 模型比文本 CoT 学生模型分别高出 5.1、2.5 和 3.7 个百分点。 证明了联合学习证据表示与行动在蒸馏视频理解能力中的价值。

  7. Google DeepMind81

    Google DeepMind 发布世界模型 Genie 4

    Google DeepMind 发布新一代世界模型 Genie 4,这是首个能实时生成原生音频和交互式对话的世界模型,支持用户通过自然语言实时调整场景。Genie 4 依托 Gemini 模型家族实现物理规律仿真和复杂事件推理,目前作为研究预览版本向可信测试者开放,未来将面向 Project Genie 用户和 Gemini API 合作伙伴推出。

    推荐理由:原文展示了Genie 4如何将Gemini的推理能力与实时音视频生成结合,帮助读者理解世界模型在机器人训练和交互体验中的具体落点。

10月27日周二
10月26日周一
  1. 哩布哩布AI34

    WorkBuddy 打通 LibTV,实现工作上下文直接生成视频

    WorkBuddy 正式打通 LibTV,支持直接调用其专业创作工具与导演级 Skills,实现从品牌视频、爆款素材到短剧的全流程生产。 该集成允许用户参考 LibTV 爆款作品的制作画布与提示词进行快速复刻,并借助 Wan 3、Seedance2.0 Fast 等模型降低成本,如 3 元制作品牌片、5 元制作短剧。 结合定时任务可实现 7×24 小时持续出片,单人即可运营一条自动化视频生产线。

  2. arXiv · ML37

    SyncPro:实现主动流式视频理解的同步推理与响应

    论文提出 SyncPro,一种通过同步双流框架解决主动流式视频理解中推理与响应冲突的模型。该框架拥有独立的内部证据跟踪和响应分支,能并发处理证据更新与用户响应,避免固定间隔导致的延迟或无效更新。 实验在三个主动基准测试上验证,SyncPro 通过 189K 双流样本结合监督微调与轨迹级强化学习训练,实现了更优的响应时机和答案准确性。

  3. arXiv · AI26

    4DMemory: 长时空记忆基准测试与增强型智能体

    研究团队发布 4DMemoryBench 基准与 LongVideo 数据集,包含 900 小时视频及 5000+ 人工审核问题,用于评估长时空推理能力。 该基准测试了 13 个领先模型,发现独立模型在长时程任务中表现不佳,但引入包含 22+ 工具模型的 4DMemory Harness 后,所有模型性能提升超 50%。 旨在推动能解决复杂长时程任务的时空智能体发展。

10月24日周六
  1. 可灵AI60

    Kling 4.0正式全量上线,获多位行业导演肯定

    可灵AI于10月15日将Kling 4.0正式全量上线,支持最长30秒原生生成与多关键帧控制。导演金性洙、李少红、陆川及多位国际制作团队表示,Kling 4.0在大幅动态表现、物理交互、角色一致性和复杂指令遵循方面显著升级,能减少无效生成并提高素材可用率。

    推荐理由:原文列举了多位行业导演及制作团队的实际项目反馈,读者可据此了解Kling 4.0在物理交互、角色一致性等维度的专业应用表现。

10月23日周五
  1. arXiv · NLP24

    RiskCueBench:视频语言模型中基于早期风险线索的预期推理基准

    研究人员提出新基准 RiskCueBench,要求模型识别视频中最早的风险信号片段,而非观看包含事故的全程视频。 该基准旨在解决现有数据集提供完整视频序列导致任务难度降低的问题,更真实地反映现实场景。 实验结果显示当前系统在从早期视觉信号预判未来风险事件方面存在显著能力差距,揭示了部署视频风险预测模型的实际挑战。

  2. arXiv · NLP21

    PRISM:面向程序视频错误识别的逐步序列推理方法

    提出 PRISM 方法,通过轻量级隐马尔可夫模型将视频片段映射至程序状态,识别插入、删除、替换和换位四类编辑错误。 在三个基准测试中,对比黄金描述与 VLM 生成描述,结果显示训练后的本地解码器性能优于最近候选匹配,语义角色标注在六项对比中提升了 Any-F1 分数。

10月22日周四
  1. 可灵AI55

    可灵(Kling)4.0 API 正式开放申请

    可灵 AI 宣布 Kling 4.0 API 于 10 月 21 日开放申请,个人开发者与企业用户均可接入。该版本大幅提升了画面真实感、创意可控性与叙事完整度,并在视听表现、多关键帧、口型匹配、文字生成及创意复刻等能力上带来突破。

  2. 哩布哩布AI66

    可灵 4.0 满血版上线 LibTV,支持 30 秒原生视频生成与 10 张关键帧控制

    可灵 4.0 满血版正式上线 LibTV,支持最长 30 秒原生视频生成,强化高速运动、复杂镜头调度与动态场景中的物理一致性。该版本支持最多 10 张关键帧控制与 15 项多模态参考,以提升角色表演、场面调度及镜头语言的精细控制能力,同时升级人物微表情、光影层次、材质还原及多语言音画同步效果。

    推荐理由:可灵 4.0 满血版在 LibTV 上线,支持 30 秒原生直出、10 张关键帧控制及 15 项多模态参考,提升了高速运动与复杂运镜的物理一致性。

  3. arXiv · NLP28

    OACap:面向详细视频字幕生成的字幕引导主动观察方法

    OACap 提出了一种以字幕为中心的代理,通过时空工具获取证据并迭代修正字幕,在固定文本阅读器下持续提升通用视频理解基准性能。 团队引入了 FSCap-Bench,其 CSFS 指标结合声明精确率与重要性感知事实覆盖率,在 93.0-98.3% 的有效字幕对中对四种受控扰动反应符合预期。CSRS 通过视频-字幕往返匹配原子事实衡量语义保留。

  4. arXiv · AI25

    智能体视频理解综述:从文献分类到开放方向

    该综述聚焦于利用视频作为主要信息源的智能体系统,探讨其通过自适应状态构建与动作选择解决理解任务的机制。文章提出挑战-设计分类法,将上下文瓶颈、证据稀疏等问题与分层记忆、主动获取等设计相对应,并回顾了状态空间与学习范式。该工作已被 DICTA 2026 接收,旨在推动智能体原生的时间建模与视频原生智能体发展。

10月21日周三
  1. arXiv · AI27

    基于关键帧锚定注意力与重标定时间 RoPE 的语义连贯生成式中间帧合成

    针对生成式中间帧合成中运动大、帧间不稳定及语义错位问题,该方法通过关键帧锚定注意力偏置(Keyframe-anchored Attention Bias)从关键帧和文本中获取语义与时间引导,并利用重标定时间 RoPE(Rescaled Temporal RoPE)增强自注意力对关键帧的关注以严格约束帧一致性。

  2. arXiv · AI25

    Code2Video-Compass:面向通用代码视频生成的基准评测

    该研究提出 Code2Video-Compass 基准,包含 2,104 个任务,覆盖 T2V、I2V 及 V2V 设置,用于评估代码生成视频。 其双层级评估框架结合 12 项客观指标与 5 项主观指标,测试了来自 9 个系列的 15 个 MLLM。 结果显示,随着构建、动态动画及状态依赖复杂度增加,领先模型在生成高质量视频时表现普遍下降。

  3. arXiv · AI23

    PI-MLLM: 基于心理物理学的多模态大语言模型用于奇怪治愈系视频情绪分析

    研究团队构建包含 12,000 个 5 秒剪辑的 OSVD 数据集,并提出 PI-MLLM 模型以分析奇怪治愈系视频(OSVs)。 该模型集成模态特定动态对齐(MSDA)与联盟制视听归因(CAVA),利用 Shapley 归因识别主导模态及视听证据的协同或冲突关系。 实验表明 PI-MLLM 提升了观众侧情绪预测及基于感官解释的质量,验证了物理感官线索对视频情绪分析的价值。

10月20日周二