TAPESTRY:面向视频生成与机器人控制的单一骨干网络
TAPESTRY 将机器人动作视为视频模型潜空间中的单补丁 Token,复用预训练视频扩散 Transformer 构建机器人策略,推理时无需生成视频。 模型通过线性投影将动作映射至 VAE 补丁维度,采用视频、联合视频动作及仅动作三种扩散目标优化共享骨干。 在消费者硬件上,单次 DDIM 步即可生成动作块,每动作块耗时 84 ms,显著降低推理成本并避免完整视频生成开销。
TAPESTRY 将机器人动作视为视频模型潜空间中的单补丁 Token,复用预训练视频扩散 Transformer 构建机器人策略,推理时无需生成视频。 模型通过线性投影将动作映射至 VAE 补丁维度,采用视频、联合视频动作及仅动作三种扩散目标优化共享骨干。 在消费者硬件上,单次 DDIM 步即可生成动作块,每动作块耗时 84 ms,显著降低推理成本并避免完整视频生成开销。
提出 LociArt 统一范式实现自由风格局部视频风格化,明确指定风格化区域与样式。 核心组件 GRNStyle 基于生成细化网络并引入极坐标风格感知掩码,结合原始掩码空间支持以集成时空上下文。构建了包含 10 万对局部风格化样本的 LociArt-100K 数据集,实验显示 GRNStyle 在区域风格质量和空间控制上优于现有方法。
Triage 是一种免训练注意力方法,在 Wan2.2、HunyuanVideo 和 LTX-2.5 上将端到端生成速度最高提升 2.32 倍。 该方法将注意力分为三级:跳过、NVFP4 快速计算或 NVFP4 残差修正。
提出“Agentic Self-Improvement”框架,将图像转视频合成重构为闭环目标导向优化,人类偏好测试中胜率最高达69%。 该框架采用两阶段方法:先利用多模态大语言模型通过场景图查询和常见错误问题优化提示词,再用贝叶斯优化协同调整随机种子和CFG scale。 该方法增强了现有视频生成模型的可预测性和可控性,推动其从随机试验转向可靠的生产级工具。
该策略通过动态分析Token嵌入相关性,在保留10% Token的情况下将视频字幕基准准确性提升7%,同时降低95%计算量。 方法属于事后处理,无需额外训练或微调,能在静态场景大幅剪枝的同时保留动态场景信息。
研究识别出参考帧优势是导致图生视频模型运动抑制的关键机制。非参考帧对参考帧键token分配过多自注意力,导致参考信息过度传播。 该方法提出无需训练且模型无关的DyMoS,在初始去噪步骤中重新平衡注意力路径。它不改变输入图像和模型权重,仅引入单一标量参数控制运动强度。 实验表明,DyMoS在多个SOTA图生视频骨干网上一致提升了运动动态,同时保持视觉质量和参考图像保真度。
HiMu 是一个免训练的分层多模态帧选择框架,通过单次 LLM 调用将查询分解为逻辑树,在标准 16 帧预算下实现了 SOTA 准确率。该框架利用 CLIP、OCR 等专家信号生成帧满足度曲线,且匹配 4 倍帧预算的均匀采样精度。它作为即插即用模块,在 Video-MME 等基准上显著提升了 7 种 MLLM 的表现。
提出 LARVA 框架,通过联合学习的潜在推理和视觉观察来蒸馏多轮视频智能体。观察者向推理者传递紧凑连续表示,替代文本描述以指导下一步动作。 使用 4B 和 7B 骨干模型,在 VideoHolmes 等基准上,7B 模型比文本 CoT 学生模型分别高出 5.1、2.5 和 3.7 个百分点。 证明了联合学习证据表示与行动在蒸馏视频理解能力中的价值。
Google DeepMind 发布新一代世界模型 Genie 4,这是首个能实时生成原生音频和交互式对话的世界模型,支持用户通过自然语言实时调整场景。Genie 4 依托 Gemini 模型家族实现物理规律仿真和复杂事件推理,目前作为研究预览版本向可信测试者开放,未来将面向 Project Genie 用户和 Gemini API 合作伙伴推出。
推荐理由:原文展示了Genie 4如何将Gemini的推理能力与实时音视频生成结合,帮助读者理解世界模型在机器人训练和交互体验中的具体落点。
可灵AI利用Kling 4.0制作AI短片《King Card》,发布后海内外播放量超500万。该作展示了Kling 4.0在动态生成及最多10张关键帧输入上的技术能力,实现了数千张卡牌螺旋环带及红色折纸鸟等复杂视觉奇观。短片通过不同镜头视角塑造感官体验,鼓励创作者探索视觉表达边界。
WorkBuddy 正式打通 LibTV,支持直接调用其专业创作工具与导演级 Skills,实现从品牌视频、爆款素材到短剧的全流程生产。 该集成允许用户参考 LibTV 爆款作品的制作画布与提示词进行快速复刻,并借助 Wan 3、Seedance2.0 Fast 等模型降低成本,如 3 元制作品牌片、5 元制作短剧。 结合定时任务可实现 7×24 小时持续出片,单人即可运营一条自动化视频生产线。
论文提出 SyncPro,一种通过同步双流框架解决主动流式视频理解中推理与响应冲突的模型。该框架拥有独立的内部证据跟踪和响应分支,能并发处理证据更新与用户响应,避免固定间隔导致的延迟或无效更新。 实验在三个主动基准测试上验证,SyncPro 通过 189K 双流样本结合监督微调与轨迹级强化学习训练,实现了更优的响应时机和答案准确性。
SteerVTE 提出统一框架,通过风格与字形控制引导冻结视频扩散模型,实现高精度的视频文字编辑。 该方法包含轻量文本上下文适配器、字形感知空间聚焦损失及三阶段渐进训练课程。 团队构建了包含一百万三元组的 SteerVTE-1M 数据集,实验显示其显著优于现有基线。
SAAF 提出信号感知自适应融合框架,通过双信号自适应采样器与阈值门控级联架构,在无需训练数据的情况下实现零样本视频异常检测。该框架在 XD-Violence、MSAD 和 ShanghaiTech 基准测试中分别取得 92.07%、86.70% 和 80.54% 的 AUC-ROC 成绩。
研究团队发布 4DMemoryBench 基准与 LongVideo 数据集,包含 900 小时视频及 5000+ 人工审核问题,用于评估长时空推理能力。 该基准测试了 13 个领先模型,发现独立模型在长时程任务中表现不佳,但引入包含 22+ 工具模型的 4DMemory Harness 后,所有模型性能提升超 50%。 旨在推动能解决复杂长时程任务的时空智能体发展。
summary_zh: ChoreoStudio 是一种音乐驱动团体舞蹈生成方法,在 AIOZ-GDance 数据集上实现了运动质量、团体组织和队形动态的 SOTA 性能。
可灵AI于10月15日将Kling 4.0正式全量上线,支持最长30秒原生生成与多关键帧控制。导演金性洙、李少红、陆川及多位国际制作团队表示,Kling 4.0在大幅动态表现、物理交互、角色一致性和复杂指令遵循方面显著升级,能减少无效生成并提高素材可用率。
推荐理由:原文列举了多位行业导演及制作团队的实际项目反馈,读者可据此了解Kling 4.0在物理交互、角色一致性等维度的专业应用表现。
Place-it-R1通过环境感知的MLLM推理实现物理一致的视频物体插入,将推理转化为语义与空间双重引导。引入Spatial Direct Preference Optimization以定位物体区域惩罚物理违规,在多种模式下生成结果优于当前SOTA方法并与商业系统表现相当。
提出 MoG-VLM 框架,利用 Temporal Gradient Magnitude (TGM) 进行内容感知采样,解决密集帧级推理导致的实时部署难题。 在零样本免训练设置下,该模型在 XD-Violence、UCF-Crime、MSAD 和 ShanghaiTech 四个基准上分别取得 91.91%、84.30%、87.88% 和 78.96% 的 AUC-ROC 成绩。
提出 Direct Forcing 单阶段框架,实现 4 步自回归视频生成器,无需独立初始化,VBench Total 达 84.63。 基于双向 Wan2.1-1.3B 模型,经 250 次更新训练完成;采用动态梯度平衡,深层特征利于延续对齐,中层特征利于分布匹配。
PhysTrace 提出了一种无需训练的框架,通过对齐 MLLM 生成的历史条件预期与视频窗口,来定位视频生成模型中的物理违反并生成可解释描述。 该框架在 IntPhys2-Timing 数据集上达到了 70.7% 的 Hit Rate,并提出了包含违反区间的 IntPhys2-Timing 数据集。
研究人员提出新基准 RiskCueBench,要求模型识别视频中最早的风险信号片段,而非观看包含事故的全程视频。 该基准旨在解决现有数据集提供完整视频序列导致任务难度降低的问题,更真实地反映现实场景。 实验结果显示当前系统在从早期视觉信号预判未来风险事件方面存在显著能力差距,揭示了部署视频风险预测模型的实际挑战。
提出 PRISM 方法,通过轻量级隐马尔可夫模型将视频片段映射至程序状态,识别插入、删除、替换和换位四类编辑错误。 在三个基准测试中,对比黄金描述与 VLM 生成描述,结果显示训练后的本地解码器性能优于最近候选匹配,语义角色标注在六项对比中提升了 Any-F1 分数。
可灵 AI 宣布 Kling 4.0 API 于 10 月 21 日开放申请,个人开发者与企业用户均可接入。该版本大幅提升了画面真实感、创意可控性与叙事完整度,并在视听表现、多关键帧、口型匹配、文字生成及创意复刻等能力上带来突破。
可灵 4.0 满血版正式上线 LibTV,支持最长 30 秒原生视频生成,强化高速运动、复杂镜头调度与动态场景中的物理一致性。该版本支持最多 10 张关键帧控制与 15 项多模态参考,以提升角色表演、场面调度及镜头语言的精细控制能力,同时升级人物微表情、光影层次、材质还原及多语言音画同步效果。
推荐理由:可灵 4.0 满血版在 LibTV 上线,支持 30 秒原生直出、10 张关键帧控制及 15 项多模态参考,提升了高速运动与复杂运镜的物理一致性。
OACap 提出了一种以字幕为中心的代理,通过时空工具获取证据并迭代修正字幕,在固定文本阅读器下持续提升通用视频理解基准性能。 团队引入了 FSCap-Bench,其 CSFS 指标结合声明精确率与重要性感知事实覆盖率,在 93.0-98.3% 的有效字幕对中对四种受控扰动反应符合预期。CSRS 通过视频-字幕往返匹配原子事实衡量语义保留。
该综述聚焦于利用视频作为主要信息源的智能体系统,探讨其通过自适应状态构建与动作选择解决理解任务的机制。文章提出挑战-设计分类法,将上下文瓶颈、证据稀疏等问题与分层记忆、主动获取等设计相对应,并回顾了状态空间与学习范式。该工作已被 DICTA 2026 接收,旨在推动智能体原生的时间建模与视频原生智能体发展。
论文提出 FrameBlend 方法,解决流式视频理解(SVU)中预填充上下文与查询需求不匹配的问题。该方法在查询时利用相关上下文重新计算选定视频 token 的 KV 缓存,无需额外训练。
OccJEPA 利用 V-JEPA 2.1 预测器处理遮挡,其推理速度比扩散模型快 33.5 倍。 该模型具有确定性输出,在 TAO-Amodal 保留测试集上 AP50 提升 4.00。 代码已公开,实验证实性能增益源于预测器预训练权重而非模型容量。
针对生成式中间帧合成中运动大、帧间不稳定及语义错位问题,该方法通过关键帧锚定注意力偏置(Keyframe-anchored Attention Bias)从关键帧和文本中获取语义与时间引导,并利用重标定时间 RoPE(Rescaled Temporal RoPE)增强自注意力对关键帧的关注以严格约束帧一致性。
该方法报告了用于自动化视频编辑的智能体工具,覆盖场景预览、视频摘要和电影预告片三类任务。 任务在编辑目标、复杂度和创意层级上存在差异。 研究讨论了自动化与智能体性的影响。
该模型通过交叉注意力层连接预训练视频模型与独立动作模型,支持任意骨骼 Rig 的动作生成。动作模型在 20 万训练对上进行优化,能定位关节以恢复相机并生成忠实于文本的 3D 运动。该架构支持从视频生成动作、反向生成视频及关键帧控制,优于视频优先流水线。
该研究提出 Code2Video-Compass 基准,包含 2,104 个任务,覆盖 T2V、I2V 及 V2V 设置,用于评估代码生成视频。 其双层级评估框架结合 12 项客观指标与 5 项主观指标,测试了来自 9 个系列的 15 个 MLLM。 结果显示,随着构建、动态动画及状态依赖复杂度增加,领先模型在生成高质量视频时表现普遍下降。
研究团队构建包含 12,000 个 5 秒剪辑的 OSVD 数据集,并提出 PI-MLLM 模型以分析奇怪治愈系视频(OSVs)。 该模型集成模态特定动态对齐(MSDA)与联盟制视听归因(CAVA),利用 Shapley 归因识别主导模态及视听证据的协同或冲突关系。 实验表明 PI-MLLM 提升了观众侧情绪预测及基于感官解释的质量,验证了物理感官线索对视频情绪分析的价值。
CALM 通过离线校准层头合并策略,在相同显存预算下优化视频生成 KV 缓存压缩,使 LPIPS 降低约 21%。 该方法利用注意力输出误差作为轻量代理,结合动态规划确定最佳合并比例分配。
MoDDiT 通过独立路由 MLP 和 self-attention 操作,在 Diffusion Transformers 中实现动态计算分配。 模型从零开始训练时,MoDDiT 可仅处理 12.5% 的 tokens,从而显著降低计算成本。其分配过程具有可解释性,并能用于训练视频生成模型及蒸馏稠密双向模型。
ReCam 将历史潜变量分组投影至 Diffusion Transformer 隐藏空间,利用自注意力机制降低 token 数量并保留完整历史访问。该方法在 VBench-Long 上取得 80.1 的最高总分,且在服装一致性等四项指标上领先,得分分别为 4.09 对比基线的 3.03。
SlotMatch 知识蒸馏框架将物体中心表征传递至轻量级学生模型,在三个数据集上超越所有 SOTA 无监督视频分割模型。 通过余弦相似度对齐教师与学生槽位方向而忽略范数,学生模型参数少 3.6 倍,速度提升 2.7 倍。 该框架已发布代码,论文被 WACV 2027 录用。
研究人员提出 Mise-en-Video (MeV) 框架,实现可编排的多镜头视频生成。 该框架结合分层注意力机制与 3D 感知布局引导,确保叙事一致性与空间控制。 研究构建了包含 16 万视频的标注数据集,并在质量与控制性上优于基线模型。
FrameGRPO通过多帧Rollouts和门控时间效率信用增强视频MLLM推理,无需修改模型架构或引入辅助网络。 该框架结合均匀时间子采样构建多样化视觉证据,并在全比率参考组失败时选择性强化低比率正确轨迹。 实验在多个视频理解与推理基准上显示其较标准GRPO有稳健提升。