CMC 框架利用控制型动态优化实现多样化动作定制
CMC 框架通过控制型动态优化解决视频生成中的内容泄漏问题,实现多样化动作定制。 该方法利用随机最优控制引导生成动态,消除显式奖励并引入时间步自适应动作成本,使训练加速 2.5 倍。 CMC 有效缓解了内容泄漏,在保持预训练模型多样性的同时实现了具有竞争力的动作保真度。
CMC 框架通过控制型动态优化解决视频生成中的内容泄漏问题,实现多样化动作定制。 该方法利用随机最优控制引导生成动态,消除显式奖励并引入时间步自适应动作成本,使训练加速 2.5 倍。 CMC 有效缓解了内容泄漏,在保持预训练模型多样性的同时实现了具有竞争力的动作保真度。
该科幻剧集工作流使用 Claude 协同撰写文案,采用 Kokoro TTS 配音,每集生成约 381 张 Flux 图像,并通过 Python 脚本与 CapCut 完成剪辑同步。 制作中 Flux 生成图像的文字出现乱码需人工筛查,单集时长接近 50 分钟因此拆分为两部分;本地运行的 Qwen3-TTS 在添加情绪标签时表现不稳定,仅 Kokoro TTS 效果可用。
独立评测机构 Artificial Analysis 发布最新文生视频榜单,阿里 Wan 3.0 位列第一,来自 Utopai Studios 的 Utopai X 以 1150 分位居第二,与第一名仅差 7 分。
2026 年一季度,中国 12 万多部微短剧中 95% 以上由 AI 生成,一年前这一比例接近零。新加坡推出了除剧本外完全由 AI 生成的两部电影,香港 TVB 开始使用虚拟演员。Kling AI 称其拥有 1 亿用户且 70% 收入来自海外,正与 ByteDance 的 Seedance 2.0 和阿里巴巴的 HappyHorse 竞争,横店等影视基地则担忧行业失去人类核心。
推荐理由:材料给出了中国微短剧 AI 生成比例的具体变化数据,读者可以据此判断 AI 对亚洲影视产业人力结构的影响。
2026 年 AI 短剧制作成本仅为真人剧的 1/10,一季度上线微短剧中 AI 占比超 95%,平均每 36 秒诞生一部新剧。受 AI 冲击,真人短剧开机量同比暴跌约 75%,横店摄影棚空置率近 80%,大量中腰部演员面临无戏可拍的困境,资本转向 AI 赛道。目前 AI 剧仍存在角色表情僵硬、剧情套路化及超九成制作方亏损等不足。
研究表明,冻结的 V-JEPA 2 预测器在物体隐藏 0.3 秒后即丢失其记忆,而同编码器能持续 3.5 秒。 通过合成数据训练 3000 步可消除预测器的永久性缺失,将 IntPhys-2019 得分从 84.2% 提升至 93.3%。 该缺陷并非潜在预测的固有属性,因为使用 tube mask 继续训练即可恢复动态物体记忆。
该综述系统梳理了基于扩散模型的图像与视频编辑技术,涵盖理论公式及图像领域关键方法。 文章按核心技术内在联系对视频编辑方法进行归类,并介绍了基于点和姿态引导的新应用。 作者还通过新提出的 V2VBench 进行了综合对比,并讨论了当前面临的挑战与未来研究方向。
提出 ResNet-BiLSTM 模型用于游戏视频的多标签感知缺陷检测,在基准数据集上取得 85.78% 的 F1 分数。 模型利用时序依赖建模提升准确率,并发布了包含 77,969 个视频片段、约 120 万帧及 5 类缺陷组合的新数据集。 该工作有助于节省传统人工测试中耗费的资源与时间。
QuantWM 提出免训练 2-bit KV Cache 量化框架,解决视频世界模型量化后的画面闪烁问题,实现最高 6.20 倍压缩。 针对现有方法在 VBench 评测分数接近但实际生成画面存在闪烁、模糊和细节失真的现象,QuantWM 通过量化敏感性感知聚类(QSAC)和主子空间注意力补偿(PSAC),保护模型对历史信息的注意力分配。
可灵AI 将于 2026年10月10日至13日在釜山国际电影节展示 Kling 4.0,呈现由该模型参与制作的真实影视作品。 活动重点探讨模型如何理解导演构思、保持角色与叙事连贯性,并接入动画、实拍等影视工业生产流程。 此举旨在推动生成式 AI 从创作实验走向影视工业的专业生产环节。
作者分享了使用 Seedance 2.5 制作 8 分钟动画惊悚片《PRESCRIPTION》的完整工作流,总成本约 300 美元。该流程结合角色与场景参考图,配合详细的镜头级提示词(如特写、手持镜头、硬切)描述动作、对话和镜头运动。
快手旗下 AI 视频业务 Kling AI 已选定承销银行,计划通过香港 IPO 募资至少 10 亿美元。 此次 IPO 规模将跻身 AI 视频公司最大公开募股之列,意在抓住生成式媒体平台的投资者需求。
Higgsfield 推出 Genjutsu 视频到视频模型,支持在保留原始主体运动、镜头轨迹及画面时序的前提下,替换视频中的物体、背景、风格或产品。 该模型提供 Motion Transfer 和 Objects Swap 两种核心模式,支持 480p、720p 和 1080p 分辨率生成,用户需根据视频时长购买预付费点数。
《The Beat》全网曝光超 500 万,其制作依托 Kling 4.0 实现 30 秒一镜到底叙事。 Kling 4.0 支持单次原生生成 30 秒视频及 15 项参考素材,显著提升动态运镜稳定性。 该模型即将上线 4K HDR 格式输出,Kling 4.0 Flash 已向黑金年卡会员开放体验。
作者分享了一个使用 AI 完成 8 分钟短片剧本、剪辑、VFX 和混音的工作流。管线使用 Claude 编写文案,PyTorch 和 ffmpeg 处理视频与特效,ElevenLabs 处理声音。作者发现版权管理比生成更难,且使用真实素材的成片效果优于在 RTX 4090 上本地生成的 AI 视频。
Artificial Analysis 9 月底公布的文生视频排行榜 Video Arena 上,影视公司 Utopai Studios 的自研定制模型 Utopai X 以 1150 的 Elo 评分位列全球第二、全美第一。
研究者提出 CultureScore 评估框架,将视频生成的文化忠实度拆解为 Identity、Context、Behavior 三个维度,覆盖 10 个国家、3 个模型共 6,174 个生成视频。
DrawVideo 是一个草图引导、故事板驱动的多镜头视频生成框架,每镜头由黑白草图、外观提示词和运动提示词指定,先对齐生成参考关键帧,再扩展为有序动作状态关键帧,最后合成相邻关键帧间的局部视频片段。
COMIC 是一个全自动 AI 系统,能生成类似《周六夜现场》的短喜剧视频,在人工与自动评测中得分均高于智能体和视频生成基线。 系统由一组模拟真实制作工作室角色的智能体构成,通过迭代竞争、评估与精炼优化创意质量与多样性;其关键贡献是基于 YouTube 喜剧视频语料训练的 LLM 评论员,可对齐真实观众偏好自动评估幽默度,并引入多岛相对进化改进剧本及剧本条件渲染评论员进行镜头级和视频级锦标赛。
腾讯混元联合北京电影学院、北京大学、深圳大学发布 DramaChain Bench,称其为首个评估短剧完整生产链每一阶段的基准,覆盖从剧本、分镜、关键帧图像、镜头级视频到成片的五个环节。
研究者提出免训练框架 MC-Sparse,通过缓存查询分组、精确注意力概率选出的 KV 索引及稠密-稀疏输出残差并在去噪步骤间复用,在视频和 3D 生成模型上实现比现有稀疏注意力基线更高的保真度与更大加速。
ReMem 是一种免训练适配技术,让 VLM 能处理任意长度流式视频并提升长上下文信息保留能力,在流式视频与通用长视频理解基准上达到 SOTA。 它由两个组件构成:Streaming Context Memory(SCM)用与查询无关的注意力持续压缩历史上下文,Retrieved Vision Memory(RVM)再检索与查询最相关的显著上下文来增强 VLM 输入。
UltraDub 将视觉用作连续运动与结构节奏,提出统一视觉引导流学习与轨迹指导的配音框架,在四个数据集上取得 SOTA 性能。 其 MDR 模块通过共享唇动查询残差校准语言与说话人风格检索,RTG 免训练,在纯视觉预测中点评估分层多模态校正以保持时序对齐,并构建 DiverseDub 多场景基准。
视频生成模型在能力与成本上差异显著,研究团队提出个性化视频生成路由器 TasteRoute,基于输入请求、用户偏好与生成预算联合选择生成器,在文生视频与图生视频场景中偏好路由表现与强基线相当,同时降低平均生成成本。
研究者提出 Level-of-Token(LoT)Diffusion,用多分辨率 token 布局让扩散模型按需分配算力,细节区域用更细 token、其余区域用更粗 token,从而在图像和视频生成中取得质量与效率的更好权衡。
HLA-WM 是一种免训练的混合线性注意力框架,通过几何引导的粗粒度检索与细粒度循环线性状态计算相结合,解决 Gated DeltaNet 在长时程视频生成中的严重远距离遗忘问题。
研究提出 Video2World 基准,包含 222 个重构实例,用于评测编码智能体自动化构建模拟环境的能力。 测试 9 个前沿编码智能体发现,Claude Opus 5 使任务成功率从 5% 以下升至 15% 以上,且视觉保真度与功能正确性存在显著差距。
快手旗下可灵 AI(Kling AI)已选定承销银行,筹备赴港 IPO,拟募资至少 10 亿美元。作为 AI 视频服务商,可灵 AI 目前正与中金公司、高盛集团及瑞银集团推进潜在发行事宜,目标最早于明年完成上市。此前可灵 AI 完成了一轮 28 亿美元融资,投前估值约 150 亿美元。
基于 Rollout-Marginal Distillation 的长时自回归视频生成 论文:https://huggingface.co/papers/2609.37925
Gatewai Dev 开源 Gitframes,一个面向编码智能体的 npm 包,可驱动 WebGPU 管线渲染视频,无需传统图形软件栈。它统一了 2D 合成、3D 场景图、程序化音频及端侧计算机视觉,通过 TypeScript 直接生成 MP4。
推荐理由:开源工具将视频合成封装为单一 npm 包,AI 智能体可编写 TypeScript 驱动 WebGPU 管线完成渲染,无需传统图形软件栈。
研究提出Video DeltaNet(VDN)架构,通过结合局部Softmax注意力与双向线性记忆解决视频扩散模型注意力计算瓶颈。该架构实例化于MiniMax H3模型,配合八步蒸馏与优化后的SGLang服务栈,在八块NVIDIA B200 GPU上将14.3秒768p视频的DiT去噪时间缩短至6.70秒,实现14.5倍加速。
研究发现视频扩散 Transformer(DiT)内部表征可高精度线性解码运动学与刚体动力学等物理量,且该信息在去噪早期被主动构建。 相关物理信息集中存储在目标物体 token 激活中,单帧潜变量即可读取多帧物理量,且探测方向可作为引导向量改变模型输出。 探针展示了部分外推能力,能迁移至训练分布之外的场景与物体配置。
VIDiff 是首个专为视频指令扩散设计的统一基础模型,涵盖理解与生成任务。该模型可在数秒内根据用户指令编辑和翻译视频,并利用迭代自回归方法确保长视频编辑的一致性。
研究团队推出 V-RAGBench 基准与 CARVE 方法,解决长视频检索增强生成中评测偏差与粒度单一问题。CARVE 通过并行检索器与块自适应重排序,在 V-RAGBench 上超越八个现有基线。 V-RAGBench 基于小时级视频的三元组实现检索与生成解耦评测,CARVE 作为免训练方法提升了对第一人称及第三人称长视频的处理表现。
LoGo 结合局部空间化奖励与全局奖励,通过细粒度的信用分配显著提升了受相机控制视频模型在长时程生成中的 3D 一致性。该方法在 DL3DV 和新增的 TrajectoryBench 基准上展现出优势,有效减少了局部物体偏移、伪影及全局场景变化。
AutoTarget 通过测量无缓存复用误差,为特定模型、求解器和复用调度选择最优缓存张量。实验表明,该策略在 PixArt-LCM 和 FLUX.1-schnell 上的校准排序与保留集结果一致。方法降低了 DiT 评估次数并减少缓存存储,生成质量接近未缓存基准。
COFLOW 是一种推理时方法,通过根据提示词特征自适应选择步数,在无需重训底层生成模型的情况下实现超过 2.5 倍加速,同时保持感知和语义质量。该方法可插拔,适用于图像和视频生成,并提供了在标准正则条件下 O(1/K) 前向欧拉离散化误差界的理论分析。
斯凯孚借助AI生成技术推出以已故好莱坞影星葛丽泰·嘉宝为虚拟代言人的广告,引发舆论两极评价。制作方未使用存档影像,而是依靠文本提示词生成人物形象,图像生成使用字节跳动Seedream 5 Pro与谷歌Nano Banana Pro,动作生成使用Seedance 2、Seedance 2.5以及可灵AI(Kling AI),语音则基于嘉宝早年影片原声进行AI训练,并得到遗产管理方及家属授权。
可灵AI将于10月6日参加2026纽约广告周,举办圆桌论坛探讨AI视频驱动规模化创作。活动结合即将上线的Kling 4.0模型,分享AI视频在企业内容生产中的应用探索。
Opus 5.5 和 Sonnet 5.5 发布后,社交媒体涌现大量利用其制作 MV、3D 游戏和交互式网页的案例。原文分析了这些爆款 Demo 背后的制作流程、成本与时间,指出模型能力正从辅助单一步骤延伸至贯穿整个创作链条,且直观 Demo 已成为新的非官方评测基准。