跳到正文

技术方向

AI 视频 最新动态

AI 视频生成与理解:文生视频模型、视频编辑工具与影视创作变革的追踪。

43 条精选近 30 天 16 条共收录 580 条

更新

AI 视频的精选

11月19日周四第 1–20 条
  1. 量子位78

    范式智能发布Phai-A1与Phai-M1双模型,全链路基于华为昇腾训练

    范式智能发布通用语言模型Phai-A1和视频生成模型Phai-M1,两款模型全链路在华为昇腾平台完成专项后训练优化。Phai-A1主打代码开发场景,单张RTX 3090可运行,响应速度较同级模型快8-10倍;Phai-M1面向真人影视,音画同步生成15秒720P视频仅需约3分钟。

    推荐理由:双模型基于华为昇腾全链路训练并开源,展示了国产算力适配小模型的可行性。

11月12日周四
  1. 36氪72

    AI短剧冲击传统影视产业链

    AI短剧通过大幅压缩制作成本与试错成本正在侵蚀传统影视就业链条,导致大量幕后岗位被替代,同时短剧盈利空间因算力成本上涨与分账单价下降而被压缩。

    推荐理由:从成本、分账到产业链重构,给出一个判断AI短剧为何吞噬传统影视产能的完整证据链。

11月8日周日
  1. 36氪73

    爆火的《持械入宋》里,AI 找到了爱它的观众

    AI 生成的仿真人短剧《持械入宋》全网累计播放量超过 120 亿,已更新约十季、总计一千集,每集不足两分钟。DataEye 统计显示,今年 9 月红果榜单上 500 部 AI 剧、漫剧中,460 部是 3D 漫剧,占 92%;仿真人剧仅 38 部,占 7.6%。

    推荐理由:分析《持械入宋》为何以仿真人形式在短剧市场走红,并指出AI剧集可依托短剧结构快速触达观众。

11月6日周五
  1. 机器之心82

    World Labs 推出 Frameboy 实时世界模型应用

    World Labs 发布 Frameboy 应用,基于 Atlas 世界模型实现云端 GPU 流式传输,响应时间约 70ms,帧率最高 15 fps,允许用户从不同视角实时探索由单张照片或多张输入生成的 3D 一致世界,并集成于 Viewfinder 中支持逐帧构建场景。

    推荐理由:Frameboy 将 Atlas 世界模型转化为可实时交互的体验,展示了从单张照片推演三维世界并支持流式探索的新范式。

  2. Hugging Face Blog77

    NVIDIA 发布 Cosmos 3 开放权重模型用于交互式世界仿真

    NVIDIA 在 Hugging Face 上发布四个 Cosmos 3 Nano 开放权重模型,包括 Transfer-Auto、Sim-Auto、Sim-Transfer 和 Sim-Bimanual,支持多传感器驾驶仿真与双臂机器人交互。模型采用 OpenMDW1.1 许可证,提供商业与非商业用途权利,并附带分阶段后训练配方。

    推荐理由:NVIDIA 发布四个 Cosmos 3 开放权重模型,提供从驾驶到机器人交互仿真的完整工作流,读者可评估其开源生态价值。

  3. Google DeepMind77

    Google DeepMind 发布 Gemini Omni 1.2 Flash:支持 15 秒视频生成

    Google DeepMind 在 Gemini API 和 Gemini for business 正式发布 Gemini Omni 1.2 Flash,原生视频时长从 10 秒提升至 15 秒,并支持多轮对话式编辑与更强的参考遵循。新版价格较 Omni 1.1 下降 30%,720p 视频每生成 1 秒成本为 0.07 美元。

    推荐理由:视频生成时长提升至15秒且价格下降30%,多轮对话编辑能力支持局部修正,有助于降低规模化视频创作成本。

10月30日周五
  1. 机器之心81

    启元 PrimeSim 世界模型发布,在 EWMBench 和 WorldSimProbe 榜单登顶

    启元具身研究中心发布 PrimeSim,这是一款基于预训练视频生成模型的世界模型仿真器,在 EWMBench 综合得分 6.09 位列第一,并在 WorldSimProbe 三项指标中夺冠。其技术路径包含中训练与后训练两阶段,支持跨本体迁移和超长时序推演,单卡 A100 推理速度达 10.12 FPS,相关权重与代码即将开源。

    推荐理由:原文展示了将视频生成模型改造为机器人仿真器的完整技术路径与量化指标,为具身智能训练提供了可复现的工程参考。

  2. 量子位69

    英伟达联合 MIT 发布基于 MiniMax H3 的开源视频增强方案,支持最高 4K 重生成

    英伟达与麻省理工学院团队在 Hugging Face 发布视频增强项目 Open-H3-Regenerate-2K 的模型权重,该方案基于 MiniMax H3,支持将低分辨率视频重生成最高 3840×2160 的 4K 视频。

    推荐理由:英伟达联合 MIT 基于 MiniMax H3 发布的开源方案,提供了可自部署的 4K 视频重生成实现。

10月29日周四
  1. 量子位78

    Genspark Media Studio 发布:AI 视频 Agent 支持零基础制作短剧与知识讲解

    Genspark 正式发布视频 Agent 工作台 Media Studio,接入 20 多家厂商的 70 多个模型版本,支持一键生成 Rap 视频、知识讲解短片及短剧。实测显示该工具可通过“故事圣经”功能将简短主题扩展为完整剧本,并自动调用 Seedance 2.5 等模型生成视频,用户只需审批设定即可实现零基础短剧创作。

    推荐理由:实测展示了该工具如何调度多模型协作完成短剧与视频生成,为零基础用户提供了可落地的创作路径。

10月28日周三
  1. Hacker News AI83

    Meta 发布 Muse Realtime Avatar:图像变实时互动角色

    Meta 发布 Muse Realtime Avatar,将任意参考图像转化为能实时说话的 AI 角色。该技术与 Muse Realtime Voice 共享语音 token 流,使表情、手势与语音同步,并支持无限实时视频生成。

    推荐理由:该发布把 Muse Realtime Voice 接入 Diffusion Transformer,实现 25 FPS 的 448x768 实时视频生成,并将推理优化降至 870 毫秒延迟。

  2. 机器之心72

    Meta 提出 World-T³ 视频世界模型:测试时训练解决长时记忆遗忘并实现单卡实时生成

    Meta 等机构提出 World-T³ 相机可控视频世界模型,利用测试时训练将历史观测按相机位姿写入快速权重,实现长时记忆持久化。在重访基准测试中,该方法将重访 PSNR 从最强基线的 13.52 dB 提升至 18.31 dB,绝对旋转误差降至 1.075°。

    推荐理由:论文提出了将相机位姿记忆写入快速权重的测试时训练方案,单卡实现 20.6 FPS 实时长时生成。

  3. Google DeepMind81

    Google DeepMind 发布世界模型 Genie 4

    Google DeepMind 发布新一代世界模型 Genie 4,这是首个能实时生成原生音频和交互式对话的世界模型,支持用户通过自然语言实时调整场景。Genie 4 依托 Gemini 模型家族实现物理规律仿真和复杂事件推理,目前作为研究预览版本向可信测试者开放,未来将面向 Project Genie 用户和 Gemini API 合作伙伴推出。

    推荐理由:原文展示了Genie 4如何将Gemini的推理能力与实时音视频生成结合,帮助读者理解世界模型在机器人训练和交互体验中的具体落点。

10月24日周六
  1. 可灵AI60

    Kling 4.0正式全量上线,获多位行业导演肯定

    可灵AI于10月15日将Kling 4.0正式全量上线,支持最长30秒原生生成与多关键帧控制。导演金性洙、李少红、陆川及多位国际制作团队表示,Kling 4.0在大幅动态表现、物理交互、角色一致性和复杂指令遵循方面显著升级,能减少无效生成并提高素材可用率。

    推荐理由:原文列举了多位行业导演及制作团队的实际项目反馈,读者可据此了解Kling 4.0在物理交互、角色一致性等维度的专业应用表现。

  2. 量子位77

    达瓦科技发布Scenes AI实时世界模型,34B参数跑通单张5090显卡

    重庆达瓦科技凭借Scenes AI在NVIDIA创业企业展示中获奖。该产品为34B参数实时世界模型,支持单张NVIDIA GeForce RTX 5090实现720P 25帧实时输出。其核心架构通过稀疏扩散、神经物理等机制实现局部更新与状态维护,相关NVD论文已被ACM UbiComp / ISWC 2026接收。

    推荐理由:达瓦科技展示了34B参数模型在单张消费级显卡上实时运行720P 25帧的技术架构,展示了国产实时世界模型在低算力部署上的实现路径。

10月22日周四
  1. 哩布哩布AI66

    可灵 4.0 满血版上线 LibTV,支持 30 秒原生视频生成与 10 张关键帧控制

    可灵 4.0 满血版正式上线 LibTV,支持最长 30 秒原生视频生成,强化高速运动、复杂镜头调度与动态场景中的物理一致性。该版本支持最多 10 张关键帧控制与 15 项多模态参考,以提升角色表演、场面调度及镜头语言的精细控制能力,同时升级人物微表情、光影层次、材质还原及多语言音画同步效果。

    推荐理由:可灵 4.0 满血版在 LibTV 上线,支持 30 秒原生直出、10 张关键帧控制及 15 项多模态参考,提升了高速运动与复杂运镜的物理一致性。

10月19日周一
  1. 豆包工作62

    豆包工作结合飞书搞定AI短片全流程的实践教程

    豆包工作结合飞书工作流,在一个对话框内完成AI短片的角色形象确认、分镜设计与Seedance 2.5视频生成。内容通过具体案例展示了如何利用多维表格与群聊无缝同步状态,从而减少工具切换,降低视频抽卡次数。

    推荐理由:演示了如何用飞书工作流串联角色、分镜和视频生成,展示了单一对话框提升团队视频协作效率的实践方法。

10月18日周日
  1. 量子位86

    VAST开源实时世界模型EdenLive,单张消费级显卡720P下超24FPS生成

    VAST正式发布并开源实时世界模型EdenLive,在单张Nvidia RTX 5090上以720P分辨率实现超过24FPS的生成速度,端到端延迟达百毫秒级。该模型支持多种参考输入与画风指定,能将简化场景或视频实时渲染为精细画面,并同步开放了模型权重、推理代码及Game Prototype Turbo工具。

    推荐理由:VAST开源实时世界模型EdenLive,单卡RTX 5090下720P生成速度超24FPS,支持多种画风实时渲染。

  2. 机器之心78

    Murea-Pro 登顶 WBench 榜首,Murea Labs 发布 InWorld 技术报告

    Murea Labs 团队模型 Murea-Pro 在交互视频评测 WBench Full-289 中以 81.1 分排名第一,RTX PRO 6000 上实现 3.6 秒生成 5 秒视频的实时生成速度。该团队发布 Murea-InWorld 技术报告,介绍基于 Murea-Mind 与 Murea-Pro 双层架构的实时互动内容模型,支持持续多轮交互与状态记忆。

    推荐理由:原文展示了模型在WBench评测中登顶及实时生成速度,解释了双层架构如何支撑持续交互与记忆。

10月15日周四
  1. 机器之心92

    昆仑万维发布 Matrix-Game 4.0,实现消费级显卡实时生成游戏并开源

    昆仑万维发布 Matrix-Game 4.0,基于 Wan2.2 5B 模型,在单张 RTX 5090 上实现 480p/60 FPS 游戏运行,端到端延迟低于 150ms,并同步开源模型权重与游戏代码。

    推荐理由:基于单张消费级显卡实现60FPS交互游戏运行,对比英伟达竞品在延迟和算力需求上的具体差异,以及代码权重双开源的落地价值。