Frequency-Step Cache:分离同步与修复以提升自回归视频扩散效率
Frequency-Step Cache (FSC) 将缓存同步与修复解耦,在 SkyReels-V2 上以 2.36 倍加速比超越 MotionCache,同时提升 SSIM 0.019 和 PSNR 0.5 dB。
Frequency-Step Cache (FSC) 将缓存同步与修复解耦,在 SkyReels-V2 上以 2.36 倍加速比超越 MotionCache,同时提升 SSIM 0.019 和 PSNR 0.5 dB。
4LC 是一种结合复合视觉表示与灵活时空访问接口的 4D 潜在缓存,通过直接复用静态和动态内容的视觉表示,避免每次生成时的 RGB 渲染和重编码。 4LC 将来自多个视觉编码器(如 VAE、DINO、V-JEPA、VGGT)的表示绑定到共享的几何和运动信息,支持在独立指定的时间和视角下读取数据,为多种下游任务提供统一的格式条件化。
FlashVSR+ 提出混合注意力架构和 Ry-DMD 训练策略,实现单步生成且用户偏好对齐的视频超分辨率。 混合注意力带来最高 2× DiT 加速,峰值内存降低 45%,可在单张 24GB RTX 4090 上完成非空间切片 4K 推理。
MERIT框架在保护时间感知的同时,通过无梯度方式恢复视频语言模型被多模态适配削弱的时间推理能力。在15项模型-基准评估中全面提升推理性能,且无需训练新参数。相关收益最高可达27.8%。
World-T3 提出测试时训练内存,将过去观测整合进专用模型参数,支持实时视频生成。 采用递归最小二乘规则增量更新,基于相机位姿读取场景特征,实现恒定存储与计算开销。 长时程基准测试中,PSNR 从 13.52 提升至 18.31 dB,旋转误差从 3.344 降至 1.075,单卡 B200 维持 20.6 FPS。
研究基于足球集锦构建新数据集,评测多模态基础模型识别视频中重要子事件的能力。 结果显示最先进模型无法可靠捕捉上下文重要性,且倾向于依赖单一主导模态。 这凸显了构建动态适应多模态异构性的模块化架构的必要性。
研究人员提出在视频下载前利用 LLM 基于元数据进行预筛选,以降低存储、时间和标注成本。 该方案以四名独立标注员的严格多数投票为基准,并通过 Gwet's AC1 一致性分析验证可靠性。LLM 预筛选方法优于两种基于关键词的启发式基线。
REEL 作为一个通用视觉记忆规划器,通过统一工具接口学习检索参考、创建视觉证据和更新持久记忆,以解决长视频生成中的视觉一致性问题。 在 JoyAI-Echo~1.5 和 MiniMax-H3 上,REEL 将 ST-Bench 跨镜头一致性提高了 15.1% 和 20.7%,在 REEL-Bench 的 Core-100 上分别提升了 2.41 和 8.32 分。
提出 AlignCache 闭环缓存框架,通过相位自适应预算路由、闭环阈值校准及动量增强草案合成,解决现有启发式方法无法验证近似误差的问题。该框架将调度转化为反馈驱动的自修正控制器,在视频扩散模型中实现更优的加速与质量平衡,代码已开源。
针对多模态大语言模型无法恢复视频时间结构的问题,提出以视觉为中心的强化学习框架 EventLens,通过恢复事件结构进行训练。 该框架构建事件分割、进程判别及多事件关系推理任务,利用 GRPO 训练并引入 MT-OPD 策略整合,无需人工偏好标签。 在 Qwen3-VL 骨干网络上,该方法在时间基准测试中表现提升,且训练成本显著低于直接混合 RL 优化。
该框架通过分解并融合相机、世界及物体三个坐标空间的控制信号,实现了对视频生成中相机运动、焦点和构图的精确控制。 在跨坐标条件融合机制下,异构提示统一引导生成过程,在保持时空连贯性的同时,显著提升了生成结果在现实感与可编辑性方面的表现。
研究者提出 TARA 方法,通过轨迹感知优化让单一可打印物理纹理在多变视角下持续干扰模型。 该攻击利用对比对齐技术,使不同视频轨迹下的受害表示收敛至共享对抗区域以实施物理威胁。 这揭示了世界模型和视频理解模型在现实动态环境中面临的基础安全挑战。
Prospective Forcing 是一种多头预测框架,通过向自回归视频表示注入长程预测信号来解决长时间 rollout 中的画质下降问题。 该方法基于滚动窗口生成器,附加轻量级、偏移特定的头,独立预测不同未来时间偏移的 chunks,并在推理时使用已接受的未来 chunks 预测来跳过完整窗口骨干执行以加速采样。
提出 GeoFix 框架,通过单一几何奖励提升 4D 生成的几何一致性与视觉质量,避免传统方法对纹理细节的损害。 该框架利用静态场景区域的跨视图深度一致性作为奖励指标,并根据相机视场重叠依赖趋势进行校准,防止小相机移动被误判为更好的几何结构。 GeoFix 在 WorldScore 3D 一致性上提升 39%,VBench 质量得分提高 4%。
研究提出结构化事件证据(SEE)Schema 及 GRAB 算法,解决视频大语言模型在平衡模式合规、任务准确性与推理预算时的多目标优化瓶颈。GRAB 在奖励空间内动态计算帕累托最优权重,相对 GRPO 运行时开销极低(<0.002%),避免了对静态权重的繁琐调优。基于 PARSE-60K 数据集训练的 PARSE-4B 模型,在保持竞争准确度的同时,生成 token 数减少 13% 至 39%。
LabInstruct 发布,这是一个针对真实实验室情境化指令视频生成的基准,包含 204 项任务,覆盖 5 个科学领域。 该基准包含真实参考执行记录,以及关于物体、动作、接触和状态转换的结构化标注,并用于评估 8 个前沿 image-to-video 模型。 评估结果显示,视觉合理的视频生成结果经常在程序上存在错误,揭示了视觉真实感与实验指令可靠性之间的显著差距。
OmniCompass 基准包含 820 个视频和 2,460 个实例,定义视觉与视听两条评估轨道,涵盖时间定位、空间定位及问答任务。 50 个多模态大模型(MLLM)的评估结果显示,开源模型在视听理解上落后于专有模型,且头部模型在精准定位上仍具挑战。
IsoVRBench 发布 8,000 对基于受控干预的视频偏好数据,覆盖八种干预类型,无需人工标注即可评估视频属性区分能力。 基准揭示 SOTA 奖励模型无法预测时序混乱缺陷,在重排帧任务中准确率仅 60.8%(人类 100%),且现有排名未预警此失败。
研究提出 U-SRA 扩散 U-Net 架构,通过显式对齐去噪过程中的弱层与强层内部表征,解决表征意义不足问题。该架构结合交叉注意力机制实现音视频同步,在视频背景音乐生成基准测试中,其视频音乐对齐度与整体音乐质量均超越当前最先进水平。
基于 5.01B 参数文生视频扩散 Transformer 的 ACROSSVAM2.0 结合置信加权头部与不对称 PCGrad,在 24 提示词评估中较对照降低 9.7% 跟踪循环误差。 方法通过零初始化残差反馈保护初始生成器,四次消融实验中种子级 KLT 误差平均降低 0.00711,VBench 六维度表现与对照持平。 研究结论表明该冲突感知适应提升了对应一致性,但未广泛改善视频感知质量。
Reels-RSI 是开源视频导演框架,通过程序级自我改进而非权重更新提升视频质量。在 111 个视频案例中,其学习规则捕获了早期 4 个潜在缺陷,且后续无新缺陷。 该系统将静态检查捕获的经验编译为带测试用例的规则,确保新规则能回溯审计旧内容;弱导演在有规则保护下违规次数从 30 次降至 5 次。
字节跳动旗下江南工作室在 Steam 发布全AI修仙游戏《不问凡尘》EA 版本,上线初期获 88% 好评率。该游戏由 Seedance 模型驱动,集成了 AI 美术、AI 配音和 AI 代码,制作团队仅 20 人,开发过程因追求 AI 视觉风格导致素材废片率达 98%。
推荐理由:字节Seedance驱动的首款全AI修仙游戏在Steam以88%好评率出圈,验证了AI制作管线在完整可玩性上的初步落地。
广电总局通报 9 月“AI 魔改”视频治理成果,共清理违规视频近 13000 条、处置违规账号 30 余个。 自 2026 年 2 月 1 日起治理转为常态化,重点清理基于四大名著及经典影视作品的违规“AI 魔改”视频。 持续营造健康的网络视听生态环境。
OpenAI 宣布与 AI 视频平台 Higgsfield 达成合作,接入 GPT-6 Astra 后将视频生成时长上限从 1 分钟提升至 10 分钟,该能力支持智能体调用外部工具并维持角色、场景和视觉细节的一致性。Higgsfield 已将流程用于其近 50 万订阅者的 YouTube 频道,生成超 10 分钟教学视频。
Higgsfield 宣布支持生成超 10 分钟的 AI 视频,并将时长从 1 分钟提升了一个数量级。 平台集成 GPT-6 Astra 用于长视频生成,GPT-Image-2.5 用于精确视觉,以及 GPT-Live 用于语音电影制作。 这些工具旨在为创作者提供更完整的 AI 视频制作路径。
一家由 OpenAI 前 Sora 负责人比尔·皮布尔斯(Bill Peebles)及梦工厂联合创始人杰弗里·卡森伯格(Jeffrey Katzenberg)创办的影视 AI 初创公司,正与 OpenAI 洽谈获取已关停的视频生成模型 Sora 的使用权限。
可灵Kling 4.0、Seedance与Vidu Q4 Preview近期密集发布,分别押注工业化效率、专业控制力与自由表达。Vidu Q4 Preview主打“传神表现力”,在人物情绪、镜头运动和复杂视效上升级,最高支持4K输出与16秒单次生成,MaaS图生视频4K价格为2.43元/秒,部分SaaS场景成本降至每秒几分钱,让漫剧、短剧和影视预演的试错门槛显著下降。
一名 Reddit 用户分享了对 AI 视频《Ballon D'or Heist》的积极评价,称这是其观看过的首个能全程保持关注度的 AI 视频。 该用户通常批评低质量 AI 内容,但认为此视频极具娱乐性,并询问这种技术现状对未来几年电影制作的影响。
牛津大学等团队提出 Oneira,通过 Coding Agent 维护 World State Table,实现精确物体交互与状态长期保持。 模型将世界状态与画面生成解耦,利用 3D BBox 记录物体位置,解决镜头移动后状态丢失问题。 在 InteractionBench 上,其交互准确性比基线高出 29 个百分点,记忆测例 PSNR 提升 93%。
OpenAI 正与一家专注于电影制作 AI 视频技术的初创公司谈判,计划将此前停运的视频生成模型 Sora 移交给该公司,让其以专业影视工具的形式重新进入市场。该初创公司由好莱坞制片人杰弗里·卡岑伯格、Sora 前研究负责人比尔·皮布尔斯和 Dropbox 前首席财务官苏杰·贾斯瓦于数月前创立;双方尚未敲定合作条款,也不清楚该公司是否能获得 Sora 的模型权重。
OpenAI 正在洽谈将已关停的视频生成模型 Sora 的技术授权给一家由原核心负责人 Bill Peebles、好莱坞制片人 Jeffrey Katzenberg 等创办的新初创公司,以换取对方股权。
字节在《2026 美好奇妙夜》节目现场展示了其研发的世界模型,支持单句话生成三维场景、自由探索及实时物体交互。文章指出世界模型通过空间表征与状态建模解决传统视觉生成的物理一致性短板,并延伸至自动驾驶数据生成与机器人虚拟训练场景。英伟达、AMD等厂商正加速布局世界模型算力与仿真平台,国内厂商依托图像视频生成技术积累逐步向通用世界模型演进。
推荐理由:通过梳理世界模型从统计生成到空间状态建模的演进,揭示了AI从生成画面转向模拟可交互环境的技术路径与产业逻辑。
Mastershot 推出名为 Studio 的免费在线视频编辑器,支持4K无水印导出,利用WASM技术直接在本地处理文件,无需上传即可编辑2GB大视频,AI功能如自动字幕与背景移除也可在本地运行且完全免费。
由 Seedance 和 Kling 等工具生成的五集科幻剧集《The Arc》总耗资约 3.8 万美元,每镜头需 8-10 次生成。 AI 平台 Artlist 出品并免费提供流媒体播放,小团队在获批后 3.5 周交付首集,全程无演员、布景或服装。 导演表示 AI 使其能低成本呈现如日本战场等原本预算不足的复杂场景。
横店影视城因AI短剧冲击导致空置率超八成,现通过人均两三百元的“横店落地签”文旅项目成功吸引游客。 体验项目提供24个古装剧本及1v1服务,最快半小时出片,带动门票餐饮消费;同时启用横店影视大模型服务百余家企业,升级影视产业链。 此举证明新技术淘汰的是过时商业模式而非产业本身,横店通过拥抱变化重新站稳脚跟。
多模态智能体 MotionCoach 通过自验证与多轮工具使用生成专业动作编辑引导,在 VPMEBench 上将 Seedance 2.0 综合得分从 55.1 提升至 65.6。 该智能体在 MotionCoach-SFT-10k 上冷启动,并基于 MotionCoach-RL-2k 使用 GRPO 算法进行强化学习优化。 无需重新训练视频编辑模型即可实现精确的专业动作编辑。
研究发现视频扩散模型内部状态线性解码物理合理性达81.27%准确率,优于V-JEPA等基线。该信号存在于去噪Transformer内部而非VAE输入层,表明生成式去噪过程会副产物地形成物理表征。
Golden Anchor Learning (GAL) 框架通过下游视频反馈优化 T2I 模型,在四个 I2V 模型上使 VBench 平均分提升 2.97%–8.46%,动态度提高 5.62%–38.24%。 GAL 将视频奖励转化为图像级偏好,用于 DPO 微调 T2I 生成器;尽管仅在 HunyuanVideo-1.5 上训练,效果仍可泛化至其他 I2V 模型。
研究者提出 Coral-KV 框架,通过跨层预测与残差量化压缩视频 KV 缓存。 在 HY-WorldPlay 和 MAGI-1 模型上,Coral-KV 复用配置相比 QVG-4 分别提升 PSNR 0.32 dB 和 4.95 dB,同时减少 48% 和 37% 的缓存内存占用。
DiffusionART 提出一种无需可微奖励模型即可高效训练扩散模型的在线强化学习方法。 该方法通过聚合奖励方向消除一致性力,并用信任域掩码更新替代指数移动平均(EMA)以稳定训练。