AoiZora:面向视频扩散 Transformer 的编译器无关自动并行化框架
AoiZora 是一种编译器无关的自动并行化框架,通过双 IR 架构在 TPU v5e 上将 Wan 2.1 去噪延迟降低 1.23 倍。 该框架支持 TPU v5p 训练加速 1.11 至 1.21 倍,并能在 10 分钟内找到优化方案。 其核心机制允许对 GPU 上的 PyTorch 程序进行并行化,无需执行候选方案即可定价编译程序。
AoiZora 是一种编译器无关的自动并行化框架,通过双 IR 架构在 TPU v5e 上将 Wan 2.1 去噪延迟降低 1.23 倍。 该框架支持 TPU v5p 训练加速 1.11 至 1.21 倍,并能在 10 分钟内找到优化方案。 其核心机制允许对 GPU 上的 PyTorch 程序进行并行化,无需执行候选方案即可定价编译程序。
研究发现自回归视频扩散模型通过稀疏注意力头实现长程一致性,而非 LLM 式 attention sink。 提出 Disen-Forcing 插件,利用解耦上下文路由和运动解耦正则化,在基准测试中同时提升长程一致性与运动动态。 该方法解决了基于 sink 的方法在模型蒸馏中易导致运动坍缩的过拟合病理,已被 NeurIPS 2026 接收。
ViSSFlow 是一个基于 Flow-Matching 的统一框架,旨在同时解决 Video-to-Sound (V2S) 和 Visual Text-to-Speech (VisualTTS) 任务。
summary_zh: VideoEditor-MoE 是首个开源的复杂视频编辑混合专家(MoE)框架。基于 5B 编辑模型初始化,该架构扩展至 14B 和 56B 参数,每个 token 激活约 8B 参数,通过 MoE-Attention 在保持全局交互的同时扩展注意力容量。
MoviEdit 提出长视频多镜头编辑框架,通过 87K 无标注配对视频实现超越开源模型效果。 框架采用级联双向自回归架构,并推出 MoviEdit-Bench 基准测试。
论文提出 AgiWorld 这一 Agentic 视频世界模型,能从单张图片和自由指令探索并构建持久世界。
提出 dKV Forcing 方法,通过可微分缓存训练专用记忆表示,分离视频生成与记忆写入。 该方法以 7% 的生成器更新开销实现单遍精确梯度计算,较两遍重构节省 28% 驻留内存,并缩短 20.8% 训练周期。 VBench-Long 美学质量在 60s 和 240s 下分别提升 6.6 和 8.5 分,并恢复训练时无写梯度下的运动能力。
DTP-OPSD 提出一种抗干扰感知的时序特权在线自蒸馏强化学习框架,专门解决时间视频定位中因视频包含相似或相反事件导致 GRPO 策略梯度失效的问题。 学生模型生成响应,共享权重的教师模型观察标记了目标窗口和干扰窗口的特权视频,通过计算教师评估学生前缀的 Jensen-Shannon 散度提供密集 token 级监督信号。
研究人员提出 V-PSA 方法,利用 DDIM inversion 实现独立生成器下的视频重构,相似度达 0.9。 该方法基于 12,000 个视频提示词对测试,结合 Null-Text Inversion 优化嵌入,显著提升还原精度。 仅评估提示词恢复会低估攻击者重构公开生成输出的实际能力。
研究人员提出 ReactionBench,这是首个以人类为锚点的视频反应特异性理解基准。 该基准包含 31,834 个刺激-反应视频片段,涵盖 433 小时时长及 8 个领域,用于评估反应强度排序、时序匹配及解释推理能力。 在七个多模态模型中,最佳模型在四选一匹配任务中准确率仅为 50.9%,表明反应特异性接地仍具挑战性。
TRACE-CBM 通过时间关系图递归预测概念状态,实现可编辑的视频活动预测。 该方法将观察活动 Top-1 准确率提升 1.2-8.5 个百分点,H3 预测准确率接近黑盒模型。 概念节点编辑可纠正 25.6-34.4% 的错误预测,概念引导实现高达 90.0% 的目标活动。
FOCUS 是免训练三层框架,通过时序门控和空间焦点地图减少 VLM 调用次数。 在 EgoSchema 子集上,基于 Qwen3-VL-8B 达到 74.8% 准确率,仅耗 25.4 次调用。 较均匀采样减少 57% VLM 调用,显著提升流式视频处理效率。
AuroraWorld通过结构化4D世界建模,从大规模外向操作视频中合成物理一致、策略相关的内向(egocentric)视频,解决现有方法在大幅视角变换、严重遮挡等场景下的局限。 其核心在于为机器人视觉运动策略学习提供可规模化获取的内向观测数据,替代高成本的外向视角部署。
Kling 4.0上线后,八位全球创作者反馈其在动作表现、镜头调度、全能参考融合及人物塑造上显著提升。 创作者作品展示了更迅猛的动态物理反馈、稳定的镜头叙事能力及灵活的多模态参考整合,支持写实至怪诞等多种风格。 这些实际案例验证了模型在提升画面真实感与创意表达自由度上的核心价值。
智象元一与中国科大联合提出 EraseSAE,利用稀疏自编码器实现文本到视频模型中概念的安全擦除,代码已开源且研究被 ECCV 2026 接收。 方法通过分区卷积 SAE 分解特征并采用动态时空掩码进行局部干预,在 CogVideoX-5B 上将裸露内容检测率从 28.25% 降至 2.62%,显著优于现有方法。
研究评估14种最先进的文本到视频检索方法,发现简短清晰的描述召回率更高,复杂事件仍是难题。 注意力驱动架构更适合处理多步骤查询,而双编码器和多模态融合模型在简单类别上表现更好。 这些发现为开发更有效的文本到视频检索系统提供了指导。
研究指出在分布匹配蒸馏中,Critic 的容量与信息量至关重要。实验表明,仅扩大 Teacher 规模而不扩大 Critic 会导致训练崩溃,提出的联合缩放(Joint Scaling)策略解决了此问题。
DUGO框架通过双尺度时间编码器和高斯记忆库,在在线时间动作定位中实现最先进性能,显著提升多时间尺度动作捕捉与长程推理能力。 模型结合深度局部表征与全局自注意力机制,利用输入条件化高斯原型增强时序记忆,并在编码器及锚点查询阶段应用门控交叉注意力。 实验在EGTEA和EPIC-Kitchens-100等数据集上验证效果,同时为非第一人称基准Muses带来显著改进。
针对视频背景替换任务因缺乏高质量训练数据而发展受限的问题,Sparkle 设计了一种解耦引导的数据生成流水线。 该流水线通过严格质量过滤生成前景和背景引导,构建了包含约 140K 视频对的 Sparkle 数据集及最大规模评测基准 Sparkle-Bench。 基于该数据集训练的模型在 OpenVE-Bench 和 Sparkle-Bench 上表现优于现有基线,且代码与数据已全部开源。
该研究提出 Geo-FSRL 方法,通过最小化条件 KL 散度诱导的几何因子来选择最优随机策略。 在等向高斯转移族中推导出唯一闭式优化器,结合梯度尺度匹配推导闭环策略梯度权重。Geo-FSRL 在 4 步设置下于图像与视频生成任务中取得优于 Flow-GRPO 和 Flow-CPS 的最终奖励分数,代码已开源。
LIT框架通过模拟用户和元工程师的共同进化,解决了视频导演代理在交互与执导间的相互强化难题。 该框架中元代理主动学习外部知识以优化执导策略,在测试集上将制作和交互分数分别提升19.1%和32.0%。 共同进化机制促进执导技能与交互模式的探索,验证了制作与交互改进之间的相关性。
可灵AI于10月28日面向全球企业客户与开发者开放Kling 4.0 API,支持将视频生成能力接入自身产品与工作流程。 API具备全能参考、多关键帧控制及30秒原生直出能力,覆盖影视分镜、广告素材、游戏动态展示及多机器人协作场景可视化等应用。 该能力帮助企业和AI创作平台降低制作时间成本,提升画面稳定性与角色一致性,推动视频生成在各行业实际业务流程中的落地。
新框架 GROME 通过静态-动态因子化、局部记忆检索和无训练记忆注入,显著增强视频世界模型的长期一致性。 该框架无需额外训练即可增强场景持久性,并支持外部观察作为即插即用记忆用于视频续写。
论文提出免训练KV选择方法Focused Forcing,在多个自回归生成范式下实现最高1.48倍端到端加速,同时提升视觉质量与文本对齐效果。 该方法通过结合注意力分数与历史帧多样性分数进行内容感知逐帧选择,并依据估算的头部重要性分配预算。
研究团队提出基于视觉语言模型的粗到细异常奖励模型 CaC。它通过全局时间扫描锚定异常时间窗口,在局部区间内进行细粒度空间定位,并采用结构化时空思维链推理以得出判断。
SemantiScene-Edit 结合多模态编码器与视频扩散 Transformer,支持基于自然语言指令的视频编辑。 模型采用双路径源条件设计,通过可学习查询传递语义上下文,并拼接源视频潜变量以保留时空一致性。训练使用 120 万条指令视频编辑数据,推理仅需源视频和自然语言指令。
Invert4TVG 框架通过引入基于反转的时间视频定位(TVG)辅助目标,增强了模型对视频及查询中动作的理解能力。 该框架包含动词补全、动作识别和视频描述三类反转任务,并利用强化学习集成,在 Charades-STA 数据集上使 3B 模型的 R1@0.7 指标提升了 7.1%。
研究者提出 GazeEval 方法,利用眼动数据预测 AI 生成视频的感知视觉真实性,准确率达 71.3%。 该方法基于包含 90 名参与者和 438 段视频的 4,286 次有效眼动试验数据,验证了眼动模式与显式人类反馈的关联性。 研究数据已公开,支持后续关于眼动追踪在 AI 视频评估中应用的进一步研究。
系统 WeVisCut 使用单一 9B 策略模型进行长篇脚本到视频生成,其输出质量可媲美 Claude Opus 5,且每分钟成功输出所需 token 量减少约 33 倍。 该成果基于 3,750 个视频构建 130K 训练样本,并提出了包含 100 项任务的基准测试与五项评估指标。
MEV 是一个专为长镜头视频生成设计的多事件数据集,提供具有精确时间边界和细粒度过程注释的高质量真实视频。该数据集通过事件中心的离散化,支持时间定位条件,使模型能从原子事件单元构建长镜头视频,并提供了全面的标注流水线及全局与事件层级的结构化字幕。
Cassette-Editor 提出一种通过统一执行器进行原子提交或拒绝的视频编辑智能体。 该智能体使用单一读取和写入工具,将镜头分析与时间线上的每次使用相关联。 在受损编辑修正实验中,定位问题使纠正所需的输入 token 减少不到一半。
研究团队发布 Event-SAMA 模型,将 SAMA-4B 适配至事件流,在 MeViS 数据集上取得 24.37 J&F 分数,确立首个事件原生 RVOS 基线。 该模型采用双通道极性 patch embedding 和零初始化事件适配器,无需重训练即可直接应用于真实事件相机记录,消融实验显示多样化训练源可带来 4.99 的性能增益。
可灵AI宣布Kling 4.0 API于10月28日面向全球企业与开发者开放,支持最长30秒原生生成和多关键帧控制。腾讯设计Miora、OpenArt、Flova等平台已通过接入该API,提升了风格理解、分镜精准度、人物一致性等视频生成能力,使其可融入Agent工作流与企业级创作链路。
LibTV双十一开启,Wan 3、Kling 4.0、Minimax H3三大旗舰视频模型支持最长30天0积分无限使用。 Seedance 2.5 720P生成价格低至每秒0.17元,年会员享最高1300元立减及3个月会员加赠,首三个月累计加赠超17万积分。 至尊92K年包从40999元降至16999元,活动提供7天保价,老用户升级同享优惠。
开源视频创作工具 Hypit 首发上线 RunningHub 的 Runow 工作台,支持免配置一键调用。用户上传参考视频和替换素材后,Hypit 会解析原片的镜头节奏、画面风格及文字声音,提供三种兼顾还原与改编的复刻方案。创作者可通过同步对比功能进行定向修改,直接应用于电商广告、影视二创或自媒体内容制作,无需本地安装或对接模型接口。
可灵AI超级创作者阿米Amir使用Kling 4.0制作温情短片《得闲饮茶》,验证了模型的整体能力。该模型支持30秒原生输出、全能参考及最多10张关键帧设置,人物一致性较3.0显著提升,且粤语对白口型匹配精准。
该研究提出 Live-OPSD 在线策略自蒸馏方法,利用特权提示监督模型在流式上下文中的自身输出分布,以优化响应时机与内容。在 Qwen3-Omni-30B-A3B 上,该方法在 LiveProBench 获得 59.64 分,比最强 SFT 基线高 5.26 分。
研究发现视频世界模型潜空间中的动作相关性主要由时序视频预训练驱动,而非像素重建保真度。 强像素解码质量模型的动作可恢复性可能接近零,而视频预训练的自监督编码器在视觉保真度与动作预测间达成最佳帕累托权衡。 时序预测结构是动作相关视频表征的核心要素,且逆动力学监督可显著提升对视觉损坏的鲁棒性。
提出 Wavelet Phase Diffusion 解决相位扩散的全局谱耦合问题,实现结构语义一致的 Sim-to-Real 翻译。 采用 Dual-Tree Complex Wavelet Packet Transform 域和 Low-Frequency Randomization 技术,基于非配对数据训练,支持实例级翻译。
多模态大模型在视频理解中常因缺乏机制重访视觉证据而导致视觉遗忘。VideoLVR 通过构建局部区域的潜在视觉证据来支持中间推理步骤,并引入视觉 token 预测目标,将视觉重建与文本生成统一在相同的 token 预测框架中。