DrawVideo:从故事板关键帧草图生成可控多镜头视频
DrawVideo 是一个草图引导、故事板驱动的多镜头视频生成框架,每镜头由黑白草图、外观提示词和运动提示词指定,先对齐生成参考关键帧,再扩展为有序动作状态关键帧,最后合成相邻关键帧间的局部视频片段。
DrawVideo 是一个草图引导、故事板驱动的多镜头视频生成框架,每镜头由黑白草图、外观提示词和运动提示词指定,先对齐生成参考关键帧,再扩展为有序动作状态关键帧,最后合成相邻关键帧间的局部视频片段。
COMIC 是一个全自动 AI 系统,能生成类似《周六夜现场》的短喜剧视频,在人工与自动评测中得分均高于智能体和视频生成基线。 系统由一组模拟真实制作工作室角色的智能体构成,通过迭代竞争、评估与精炼优化创意质量与多样性;其关键贡献是基于 YouTube 喜剧视频语料训练的 LLM 评论员,可对齐真实观众偏好自动评估幽默度,并引入多岛相对进化改进剧本及剧本条件渲染评论员进行镜头级和视频级锦标赛。
腾讯混元联合北京电影学院、北京大学、深圳大学发布 DramaChain Bench,称其为首个评估短剧完整生产链每一阶段的基准,覆盖从剧本、分镜、关键帧图像、镜头级视频到成片的五个环节。
研究者提出免训练框架 MC-Sparse,通过缓存查询分组、精确注意力概率选出的 KV 索引及稠密-稀疏输出残差并在去噪步骤间复用,在视频和 3D 生成模型上实现比现有稀疏注意力基线更高的保真度与更大加速。
ReMem 是一种免训练适配技术,让 VLM 能处理任意长度流式视频并提升长上下文信息保留能力,在流式视频与通用长视频理解基准上达到 SOTA。 它由两个组件构成:Streaming Context Memory(SCM)用与查询无关的注意力持续压缩历史上下文,Retrieved Vision Memory(RVM)再检索与查询最相关的显著上下文来增强 VLM 输入。
UltraDub 将视觉用作连续运动与结构节奏,提出统一视觉引导流学习与轨迹指导的配音框架,在四个数据集上取得 SOTA 性能。 其 MDR 模块通过共享唇动查询残差校准语言与说话人风格检索,RTG 免训练,在纯视觉预测中点评估分层多模态校正以保持时序对齐,并构建 DiverseDub 多场景基准。
视频生成模型在能力与成本上差异显著,研究团队提出个性化视频生成路由器 TasteRoute,基于输入请求、用户偏好与生成预算联合选择生成器,在文生视频与图生视频场景中偏好路由表现与强基线相当,同时降低平均生成成本。
研究者提出 Level-of-Token(LoT)Diffusion,用多分辨率 token 布局让扩散模型按需分配算力,细节区域用更细 token、其余区域用更粗 token,从而在图像和视频生成中取得质量与效率的更好权衡。
HLA-WM 是一种免训练的混合线性注意力框架,通过几何引导的粗粒度检索与细粒度循环线性状态计算相结合,解决 Gated DeltaNet 在长时程视频生成中的严重远距离遗忘问题。
研究提出 Video2World 基准,包含 222 个重构实例,用于评测编码智能体自动化构建模拟环境的能力。 测试 9 个前沿编码智能体发现,Claude Opus 5 使任务成功率从 5% 以下升至 15% 以上,且视觉保真度与功能正确性存在显著差距。
研究提出Video DeltaNet(VDN)架构,通过结合局部Softmax注意力与双向线性记忆解决视频扩散模型注意力计算瓶颈。该架构实例化于MiniMax H3模型,配合八步蒸馏与优化后的SGLang服务栈,在八块NVIDIA B200 GPU上将14.3秒768p视频的DiT去噪时间缩短至6.70秒,实现14.5倍加速。
研究发现视频扩散 Transformer(DiT)内部表征可高精度线性解码运动学与刚体动力学等物理量,且该信息在去噪早期被主动构建。 相关物理信息集中存储在目标物体 token 激活中,单帧潜变量即可读取多帧物理量,且探测方向可作为引导向量改变模型输出。 探针展示了部分外推能力,能迁移至训练分布之外的场景与物体配置。
VIDiff 是首个专为视频指令扩散设计的统一基础模型,涵盖理解与生成任务。该模型可在数秒内根据用户指令编辑和翻译视频,并利用迭代自回归方法确保长视频编辑的一致性。
研究团队推出 V-RAGBench 基准与 CARVE 方法,解决长视频检索增强生成中评测偏差与粒度单一问题。CARVE 通过并行检索器与块自适应重排序,在 V-RAGBench 上超越八个现有基线。 V-RAGBench 基于小时级视频的三元组实现检索与生成解耦评测,CARVE 作为免训练方法提升了对第一人称及第三人称长视频的处理表现。
LoGo 结合局部空间化奖励与全局奖励,通过细粒度的信用分配显著提升了受相机控制视频模型在长时程生成中的 3D 一致性。该方法在 DL3DV 和新增的 TrajectoryBench 基准上展现出优势,有效减少了局部物体偏移、伪影及全局场景变化。
AutoTarget 通过测量无缓存复用误差,为特定模型、求解器和复用调度选择最优缓存张量。实验表明,该策略在 PixArt-LCM 和 FLUX.1-schnell 上的校准排序与保留集结果一致。方法降低了 DiT 评估次数并减少缓存存储,生成质量接近未缓存基准。
COFLOW 是一种推理时方法,通过根据提示词特征自适应选择步数,在无需重训底层生成模型的情况下实现超过 2.5 倍加速,同时保持感知和语义质量。该方法可插拔,适用于图像和视频生成,并提供了在标准正则条件下 O(1/K) 前向欧拉离散化误差界的理论分析。
可灵AI将于10月6日参加2026纽约广告周,举办圆桌论坛探讨AI视频驱动规模化创作。活动结合即将上线的Kling 4.0模型,分享AI视频在企业内容生产中的应用探索。
可灵发布Kling 4.0并开启内测,将在10月正式推出。该模型支持最长30秒原生视频生成,提升了复杂运镜稳定性,并增强了对长提示词及跨镜头一致性的处理能力。
推荐理由:评测覆盖大动态、长时序与一致性,为创作者提供了Kling 4.0实际可用性的参照。
智象元一(HiDream.ai)的物理规律导向视频模型 HiDream V1 已接入旗下 AIGC 内容创作平台 vivago,面向全球用户开放。HiDream V1 在全球排名中升至第七位,自首次亮相以来排名持续攀升,印证其生成效果正不断获得全球用户认可。
LibTV 联合多方主办的首届「X 小时之后」AI 短片黑客松在第十届平遥国际电影展落幕。火山引擎 Seedance 提供无上限算力支持,40 支团队在 36 小时内完成创作。赛事设超 50 万现金奖池,作品由包含贾樟柯在内的评审团评选。
商汤日日新SenseNova 6.8 Flash Preview 实现将静态图片动态还原为视频的功能。 该功能通过分层拆解标题、主体和背景,结合自主推断运动方向及运镜规则生成视频。 交付前模型会逐帧对照原图进行自检,局部修正错误并保留原图质感。
LibTV 联合抖音AI创作浪潮计划推出「AI大师公开课」,首期邀请 2XLabs 团队以荣获金奖的短片《合龙》为例进行拆解。课程聚焦叙事、美术与表演三个维度,主张 AI 放大了认知差距,需通过具体动作与考据细节提升作品可信度,而非依赖提示词优化。
可灵AI宣布全新升级的 Kling 4.0 将于10月正式上线,Kling 4.0 Flash 已于9月28日开放小范围抢先体验。Kling 4.0 在画面真实感、多关键帧、口型匹配和创意复刻等方面实现突破,支持 4K 与 10-bit HDR 输出;单次可生成 30 秒视频,支持多关键帧控制,并新增视频续拍等创作页面功能。
推荐理由:原文点明了 4.0 与 Flash 的能力差异、开放节奏与参考上限,读者可据此判断它对视频创作流程的影响。
海马云自研 RH Upscale 视频超分模型全球首发,并全面接入 RunningHub 平台。在 13 个参测配置中,RH Upscale Ultra 以 0.539 分取得综合质量第一,Max 模式 5-10 秒视频 2 倍超分平均耗时 34 秒。该模型提供五档处理模式及 API 调用,适用于 AI 生成视频、实拍素材等多种场景的画质增强。
Google Research 推出名为“AI 视频联合导演”的统一多智能体框架,将其构建为 Gemini 和 Veo 之上的编排层,旨在解决长视频生成中的语义漂移、级联失败及内容坍塌问题。
爱诗科技自主研发的“爱诗通用实时”(PixVerse R系列通用实时世界模型)正式通过国家网信办备案,成为全国首个获此备案的通用实时世界模型。该模型具备实时生成、持续演化和即时响应交互输入的能力,未来将重点在互动影游、广告营销及电商等场景推进产品化落地。
智象元一在2026云栖大会展示原生全模态大模型及与阿里云无影的全栈合作成果。其视频模型HiDream-O1-Video-1.0在Artificial Analysis榜单位居全球第四,Arena.ai评测排名第8。双方合作使图像生成速率提升45%,Agent端到端生产效率提升200%以上,支持7×24小时稳定运行。
爱诗科技即将在香港落成办公室,成为首批获引入的AI企业,将依托自研视频生成大模型 PixVerse 拓展国际化业务。其产品覆盖全球 175 个国家,PixVerse V 系列与 C 系列已应用于 FIRST 青年电影展等场景,助力香港影视文创产业。
爱诗科技正式发布具备 Scaling 能力的通用实时世界模型 PixVerse R2,开放游戏、互动影视及数字人等体验。模型基于 Omni Causal AR 与 Real-Time Acceleration 双引擎架构,将模型能力扩展与实时推理加速解耦,在生成质量、长程一致性和多模态控制方面实现提升。用户可通过 Prompt 和键盘操作实时生成并交互,PixVerse R2 已开放使用。
推荐理由:实时与通用解耦的双引擎架构,为持续扩展的实时世界模型提供了可验证路径。
爱诗科技旗下 AI 视频生成平台 PixVerse 获选美国区 Google Play 商店“App of the Week”。目前全球累计 1.5 亿用户通过该平台将文字、照片或视频转化为风格丰富的视频作品,相关特效在海外社交平台累计播放量超 10 亿次。PixVerse 持续优化生成速度,360P 视频最快约 5 秒生成,1080P 视频控制在 1 分钟以内,并近期上线了 VibeMV 功能。
贵州大三学生CHunye利用商汤Seko独立制作日式丧尸短剧《渡骸》,目前该系列已更新至第9集,累计播放量超7400万。Seko通过提供算力扶持、Agent辅助及无限画布资产沉淀,解决了单人创作在算力成本与流程管理上的痛点。平台还上线了基于CHunye经验的独家Skill,其用户规模已突破100万。
豆包工作通过 6 个实战场景简化电商运营工作流。工具利用多维表格自动分析用户评价以驱动选品,并串联 5 个 AI 角色批量生成白底图、详情页及 10 秒短视频。此外,结合/可视化指令自动生成 GMV 等经营数据趋势图表,并创建可交互的月度预算计算器,实现收支盈亏的实时更新。
智象未来发布首个原生全模态视频生成模型 HiDream-O1-Video-1.0,支持文本、图片、视频多模态输入,可直出 5–20 秒 1080p 视频。该模型在 Artificial Analysis 图生视频榜单中位列全球第四,在 Arena.ai 盲测榜中位列第八。
在2026服贸会上,智象未来正式宣布vivago R1全球上线,国内版本「够搭」同步升级发布。R1支持用自然语言对话生成视频,单次可稳定输出5分钟内容,并通过SkillHub自动编排技能,将AI视频生成推进到完整作品交付阶段。vivago 全球用户已突破7000万。
RunningHub 联动华语科幻星云奖及 PixVerse,共同启动全球 AIGC 长片创作大赛,邀请刘慈欣担任大赛顾问。大赛总奖励池价值 550 万元,包含 350 万元现金和 200 万元算力,并开放 10 部科幻文学 IP 免费改编。参赛者可使用 PixVerse C1 和 V6 模型制作 90 分钟以上电影或长剧,获奖项目将获后续孵化支持。
RunningHub开源MiniMax H3 Lightning加速方案,使视频生成速度提升12倍,5秒视频耗时从348.8秒降至28.7秒,且保留BF16精度。 该方案通过三层加速技术叠加,在8张NVIDIA RTX 6000D显卡上实现本地部署,并已在GitHub提供复现指南。
全球AIGC长片创作大赛正式启动,总奖励池达550万元,单项最高100万元现金大奖,并开放10部科幻文学IP免费改编授权。 刘慈欣担任大赛顾问,评审团涵盖科幻文学、电影及AIGC领域专业人士;大赛由RunningHub联合发起,重点扶持90分钟以上电影及长剧项目。
可灵能力接入百度秒哒平台后,累计调用次数已超过 2496 万次。 应用开发者主要将可灵用于两类场景:一是通过 可灵3.0Omni 和 可灵3.0Turbo 模型为应用增加视频生成能力,二是批量生成视觉素材以提升游戏或叙事内容的沉浸感。 近期上线的 Agent Market 提供 一键换装 和 商品成片 等开箱即用功能,并开放 API 供开发者集成,同时秒哒平台推出限时优惠以促进影像生成能力的普及。
MiniMax 将 H3 Max 768P 和 480P 接入开放平台和 MiniMax Design,基于其与 fal 合作的后训练与推理优化,5 秒 768p 视频生成耗时不到 3 秒,已满足实时直播速度门槛。
推荐理由:H3 Max 768P 生成 5 秒视频耗时不到 3 秒,满足实时直播生成速度门槛,支撑了 24 小时 AI 电视台等实时交互场景。