Meta 提出 World-T³ 视频世界模型:测试时训练解决长时记忆遗忘并实现单卡实时生成
Meta 等机构提出 World-T³ 相机可控视频世界模型,利用测试时训练将历史观测按相机位姿写入快速权重,实现长时记忆持久化。在重访基准测试中,该方法将重访 PSNR 从最强基线的 13.52 dB 提升至 18.31 dB,绝对旋转误差降至 1.075°。
推荐理由:论文提出了将相机位姿记忆写入快速权重的测试时训练方案,单卡实现 20.6 FPS 实时长时生成。
Meta 等机构提出 World-T³ 相机可控视频世界模型,利用测试时训练将历史观测按相机位姿写入快速权重,实现长时记忆持久化。在重访基准测试中,该方法将重访 PSNR 从最强基线的 13.52 dB 提升至 18.31 dB,绝对旋转误差降至 1.075°。
推荐理由:论文提出了将相机位姿记忆写入快速权重的测试时训练方案,单卡实现 20.6 FPS 实时长时生成。
OpenMontage Drama Studio 是一个可自托管的 Web 工作室,支持通过一句描述生成短剧、病毒视频或产品短片。其核心是包含剧本、角色、场景、道具、分镜、配音和剪辑的 7 阶段工作流,各阶段均可独立编辑或替换。
AI漫剧制作报价从每分钟5000元跌至200元甚至更低,跌幅达96%,但港股上市公司兑吧上半年AI短剧收入达2.23亿元,且已连续三个月单月盈利。DataEye数据显示2026年9月抖音端新增5.18万部AI剧,播放增量超2000亿次,但82%的新剧当月播放量不足100万。平台掌握流量与分账规则,制作方利润微薄且回本困难,而拥有发行能力和IP资源的头部公司则通过自研Agent提升效率并实现盈利。
该研究提出 Live-OPSD 在线策略自蒸馏方法,利用特权提示监督模型在流式上下文中的自身输出分布,以优化响应时机与内容。在 Qwen3-Omni-30B-A3B 上,该方法在 LiveProBench 获得 59.64 分,比最强 SFT 基线高 5.26 分。
研究发现视频世界模型潜空间中的动作相关性主要由时序视频预训练驱动,而非像素重建保真度。 强像素解码质量模型的动作可恢复性可能接近零,而视频预训练的自监督编码器在视觉保真度与动作预测间达成最佳帕累托权衡。 时序预测结构是动作相关视频表征的核心要素,且逆动力学监督可显著提升对视觉损坏的鲁棒性。
提出 Wavelet Phase Diffusion 解决相位扩散的全局谱耦合问题,实现结构语义一致的 Sim-to-Real 翻译。 采用 Dual-Tree Complex Wavelet Packet Transform 域和 Low-Frequency Randomization 技术,基于非配对数据训练,支持实例级翻译。
多模态大模型在视频理解中常因缺乏机制重访视觉证据而导致视觉遗忘。VideoLVR 通过构建局部区域的潜在视觉证据来支持中间推理步骤,并引入视觉 token 预测目标,将视觉重建与文本生成统一在相同的 token 预测框架中。
TAPESTRY 将机器人动作视为视频模型潜空间中的单补丁 Token,复用预训练视频扩散 Transformer 构建机器人策略,推理时无需生成视频。 模型通过线性投影将动作映射至 VAE 补丁维度,采用视频、联合视频动作及仅动作三种扩散目标优化共享骨干。 在消费者硬件上,单次 DDIM 步即可生成动作块,每动作块耗时 84 ms,显著降低推理成本并避免完整视频生成开销。
提出 LociArt 统一范式实现自由风格局部视频风格化,明确指定风格化区域与样式。 核心组件 GRNStyle 基于生成细化网络并引入极坐标风格感知掩码,结合原始掩码空间支持以集成时空上下文。构建了包含 10 万对局部风格化样本的 LociArt-100K 数据集,实验显示 GRNStyle 在区域风格质量和空间控制上优于现有方法。
Tiny Desk AI 将用户上传的 1-3 张照片转化为约 15 秒的 “Outstanding” 桌面演唱会梗视频,包含原声与 720p 9:16 分辨率。 系统内置场景、歌曲及镜头节奏,无需提示词即可一次性付费生成,照片处理完成后 7 天内删除。
Triage 是一种免训练注意力方法,在 Wan2.2、HunyuanVideo 和 LTX-2.5 上将端到端生成速度最高提升 2.32 倍。 该方法将注意力分为三级:跳过、NVFP4 快速计算或 NVFP4 残差修正。
提出“Agentic Self-Improvement”框架,将图像转视频合成重构为闭环目标导向优化,人类偏好测试中胜率最高达69%。 该框架采用两阶段方法:先利用多模态大语言模型通过场景图查询和常见错误问题优化提示词,再用贝叶斯优化协同调整随机种子和CFG scale。 该方法增强了现有视频生成模型的可预测性和可控性,推动其从随机试验转向可靠的生产级工具。
该策略通过动态分析Token嵌入相关性,在保留10% Token的情况下将视频字幕基准准确性提升7%,同时降低95%计算量。 方法属于事后处理,无需额外训练或微调,能在静态场景大幅剪枝的同时保留动态场景信息。
研究识别出参考帧优势是导致图生视频模型运动抑制的关键机制。非参考帧对参考帧键token分配过多自注意力,导致参考信息过度传播。 该方法提出无需训练且模型无关的DyMoS,在初始去噪步骤中重新平衡注意力路径。它不改变输入图像和模型权重,仅引入单一标量参数控制运动强度。 实验表明,DyMoS在多个SOTA图生视频骨干网上一致提升了运动动态,同时保持视觉质量和参考图像保真度。
HiMu 是一个免训练的分层多模态帧选择框架,通过单次 LLM 调用将查询分解为逻辑树,在标准 16 帧预算下实现了 SOTA 准确率。该框架利用 CLIP、OCR 等专家信号生成帧满足度曲线,且匹配 4 倍帧预算的均匀采样精度。它作为即插即用模块,在 Video-MME 等基准上显著提升了 7 种 MLLM 的表现。
提出 LARVA 框架,通过联合学习的潜在推理和视觉观察来蒸馏多轮视频智能体。观察者向推理者传递紧凑连续表示,替代文本描述以指导下一步动作。 使用 4B 和 7B 骨干模型,在 VideoHolmes 等基准上,7B 模型比文本 CoT 学生模型分别高出 5.1、2.5 和 3.7 个百分点。 证明了联合学习证据表示与行动在蒸馏视频理解能力中的价值。
谷歌 DeepMind 推出处于研究预览阶段的世界模型 Genie 4,能够生成拟真度更高的可交互虚拟世界,并支持实时音视频同步,涵盖音乐、环境音与可交互对话。
同一新闻,精选展示《Google DeepMind 发布世界模型 Genie 4》
Dola AI 发布面向艺术家的浏览器端视觉控制工具,将图像编辑、场景合成、视频时间轴和参考板整合为单一工作区。 该工具支持通过 2D 分层和 3D 场景放置预先构图,再提交生成任务;3D 世界使用 World Labs Marble 技术,音频和对象生成使用 Fal 模型。 本地编辑、项目保存和调整构图不消耗生成积分,完整结果绑定在用户账户。
Google DeepMind 发布新一代世界模型 Genie 4,这是首个能实时生成原生音频和交互式对话的世界模型,支持用户通过自然语言实时调整场景。Genie 4 依托 Gemini 模型家族实现物理规律仿真和复杂事件推理,目前作为研究预览版本向可信测试者开放,未来将面向 Project Genie 用户和 Gemini API 合作伙伴推出。
推荐理由:原文展示了Genie 4如何将Gemini的推理能力与实时音视频生成结合,帮助读者理解世界模型在机器人训练和交互体验中的具体落点。
Google 宣布推出 Genie 4 世界模型,用于通过 AI 生成交互式体验。模型有四项主要更新:生成更真实的世界、允许用户通过自然语言提示实时调整体验、支持生成音频,并采用 Gemini 3.8 Flash 辅助模拟。
作者看完国内首部带龙标AI电影《三星堆:未来往事》后撰文复盘,该片上映4天票房约123万元,上座率跌至0.2%,被观众评价为像在大银幕看短剧。文章分析指出影片在叙事节奏和人物逻辑上存在明显缺陷,虽技术生成效率提升,但缺乏电影美学感染力;作者对比了马斯克AI版《奥德赛》及行业其他案例,指出AI影视在院线面临的信任消耗,认为技术仅解决画面流畅,未能解决故事深度,观众购票依然看重人物动机与情节合理性。
创建有效的 AI 视频内容应聚焦于塑造具有对比度和具体性的角色,而非追求画面逼真。 这种策略让观众明确识别出 AI 生成属性,但仍会因内容提供新颖且独特的价值而选择观看。
可灵AI利用Kling 4.0制作AI短片《King Card》,发布后海内外播放量超500万。该作展示了Kling 4.0在动态生成及最多10张关键帧输入上的技术能力,实现了数千张卡牌螺旋环带及红色折纸鸟等复杂视觉奇观。短片通过不同镜头视角塑造感官体验,鼓励创作者探索视觉表达边界。
港大研究人员对 12 款 AI 视频生成器进行排名,字节的 Seedance 2.0 Pro 以 3.84/5 的视觉质量得分位列第一,领先于 Google DeepMind 的 Veo 3.1(3.47)和 OpenAI 的 Sora 2 Pro(3.27)。该研究的主要作者指出,多项中国模型在安全预防措施方面表现相对滞后。
清华大学、NVIDIA等机构联合发布StreamEval基准,这是全球首个流式交互视频生成评测榜单,覆盖38个模型的五个任务。结果显示模型在连续指令响应和状态一致性上存在显著短板,代码与数据已开源。
九家美国模型实验室合计估值约 2.18 万亿美元,而 2025 年收入不足 250 亿美元,文中通过 Anthropic S-1 和 OpenAI 财报数据展示资本如何为高速增长斜率定价。核心实体包括 OpenAI、Anthropic 和 xAI,其中 Anthropic 估值达 9650 亿美元但 2025 年收入仅 45.9 亿美元,xAI 则通过 SpaceX 合并估值 2500 亿美元。
AIVS 利用 Codex 将剧本转换为分镜脚本,并通过 LTX-2.5 在 Apple Silicon 本地渲染含语音的视频。 LTX-2.5 以 1280×704 分辨率、24 fps 生成 4–12 秒片段,采用 FFmpeg 组装,支持场景间帧级连续性。 应用需约 50 GiB 磁盘空间,依赖 Hugging Face token 及本地 Whisper 模型进行语音校验。
Elon Musk 制作基于《奥德赛》的 AI 短片,观众普遍批评其质量低劣且严重偏离原著故事。 Musk 曾表示希望超越 Christopher Nolan 版本,但多数观众并不认可其效果。
WorkBuddy 正式打通 LibTV,支持直接调用其专业创作工具与导演级 Skills,实现从品牌视频、爆款素材到短剧的全流程生产。 该集成允许用户参考 LibTV 爆款作品的制作画布与提示词进行快速复刻,并借助 Wan 3、Seedance2.0 Fast 等模型降低成本,如 3 元制作品牌片、5 元制作短剧。 结合定时任务可实现 7×24 小时持续出片,单人即可运营一条自动化视频生产线。
Aivs 是一款原生 Rust 本地 AI 视频工作室,通过 Codex 将剧本转化为拍摄计划,支持角色绑定与视频渲染。 工具链采用 Rust 处理结构化数据,Python 执行 Codex 生成 4-12 秒分镜,FFmpeg 负责视频组装,并严格校验 1024 Gemma token 限制。 该流程实现了从剧本到成片的本地化自动化制作,显著提升了短片生成的效率与可控性。
字节跳动旗下即梦AI宣布即梦短剧工作室正式上线,提供自研剧本模型DreamScript、图片模型Anycook和分镜模型DreamShot。DreamScript支持多题材剧本生成与爆款诊断;Anycook可生成短剧角色与多风格场景;DreamShot支持画布与故事板切换、3D导演台预演及智能镜头规划。
中国企业在生成式AI视频领域已成为全球领导者,但在前沿语言模型上仍落后于美国。基于文本、图像和音频的视频生成与编辑模型在中国大量涌现。中国庞大的短视频生态和更宽松的版权规则,使其开发者在训练数据和分发上具备优势。
TriHerm Labs 推出本地优先视频制作工具 Cutmark,让用户与 AI 智能体在 Mac 本地完成从拍摄到发布的完整视频生产流程,视频源文件与项目数据均保留在 ~/Movies/Cutmark 目录下。
论文提出 SyncPro,一种通过同步双流框架解决主动流式视频理解中推理与响应冲突的模型。该框架拥有独立的内部证据跟踪和响应分支,能并发处理证据更新与用户响应,避免固定间隔导致的延迟或无效更新。 实验在三个主动基准测试上验证,SyncPro 通过 189K 双流样本结合监督微调与轨迹级强化学习训练,实现了更优的响应时机和答案准确性。
SteerVTE 提出统一框架,通过风格与字形控制引导冻结视频扩散模型,实现高精度的视频文字编辑。 该方法包含轻量文本上下文适配器、字形感知空间聚焦损失及三阶段渐进训练课程。 团队构建了包含一百万三元组的 SteerVTE-1M 数据集,实验显示其显著优于现有基线。
SAAF 提出信号感知自适应融合框架,通过双信号自适应采样器与阈值门控级联架构,在无需训练数据的情况下实现零样本视频异常检测。该框架在 XD-Violence、MSAD 和 ShanghaiTech 基准测试中分别取得 92.07%、86.70% 和 80.54% 的 AUC-ROC 成绩。
研究团队发布 4DMemoryBench 基准与 LongVideo 数据集,包含 900 小时视频及 5000+ 人工审核问题,用于评估长时空推理能力。 该基准测试了 13 个领先模型,发现独立模型在长时程任务中表现不佳,但引入包含 22+ 工具模型的 4DMemory Harness 后,所有模型性能提升超 50%。 旨在推动能解决复杂长时程任务的时空智能体发展。
summary_zh: ChoreoStudio 是一种音乐驱动团体舞蹈生成方法,在 AIOZ-GDance 数据集上实现了运动质量、团体组织和队形动态的 SOTA 性能。
Grok 放出与 Wonder Studios 联合制作的《奥德赛》前七分钟内容,并将其称作系列第一集。 该片段视觉效果优于马斯克近期发布的其他 AI 视频,部分场景接近真人实拍,但旁白冗长、台词生硬,被指缺乏叙事节奏与艺术感染力。 外媒 Techcrunch 评价称其无法与诺兰实景拍摄的诺兰版《奥德赛》相比,观众难以产生共情。
Grok 发布了 AI 生成电影《奥德赛》的七分钟片段,称其为“系列第一集”,该片段由 Wonder Studios 和导演 Dev Walker 合作制作。 片段包含全角色符合马斯克审批肤色及英式旁白,作者评价其缺乏艺术感与人类情感,画面虽逼真但叙事呆板。 与诺兰真人版相比,该 AI 版本缺乏节奏感和观众共鸣,作者对后续内容不抱期待。