SpriteStage:通过渐进式场景编程与重放实现长时动画生成
summary_zh: SpriteStage 提出了一种渐进式场景编程框架,通过迭代执行和引擎重组织生成长时动画。该框架利用运行时和视觉反馈修订动作或故事节拍,确保场景协调。
summary_zh: SpriteStage 提出了一种渐进式场景编程框架,通过迭代执行和引擎重组织生成长时动画。该框架利用运行时和视觉反馈修订动作或故事节拍,确保场景协调。
ICAT 基准包含 909 个评估单元,用于测试视频生成器预测物理风险的能力。 研究发现最强系统严格成功率仅 23.5%,常缺失或弱化严重后果。 该工作揭示了生成系统复现风险动作与产生相应结果之间的差距。
SpargeAttention2 提出可训练稀疏注意力方法,结合混合 Top-k+Top-p 掩码与蒸馏目标,在视频扩散模型中实现 95% 注意力稀疏率和 16.2 倍加速,同时保持生成质量。 该方法优于现有无训练稀疏注意力方案,其混合掩码机制在高空稀疏率下更鲁棒,并解决了扩散损失微调中的局限性。
SLA2 提出可学习路由与量化感知微调,解决原 SLA 启发式划分及误差分解不匹配问题。 该模型通过动态选择稀疏或线性注意力分支,并采用直接分解公式及低比特注意力设计,在视频扩散模型中实现 97% 注意力稀疏度与 18.6 倍推理加速,同时保持生成质量。
RECAP 是一种无需训练的方法,通过互惠校正结合稀疏注意力与分层缓存,在 HunyuanVideo 720p 生成中实现 3.05 倍加速,且在保真度和推理速度上优于所有测试的直接组合方法。 其核心机制是利用缓存的密集细化校正稀疏估计中遗漏的交互,同时利用新的稀疏统计数据跟踪输入变化并调节校正老化。
提出 Clean Forcing 方法,通过训练 5.9M 参数 LoRA 修正器消除自回归视频扩散中的漂移。 利用确定性漂移特性,在冻结基座上回归反事实速度差,无需真实视频训练,推理无额外成本。 50 秒生成中 Δ-drift 从 +11.3 降至 +1.65,比最佳已发表结果少用 150 倍以上数据。
Video-EMem 提出可进化视频记忆框架,利用时间锚定感知观察组合紧凑文本与稀疏图像,提升长视频问答性能。 该框架通过独立反馈进化 Writer 与 Reader 工作流,在冻结底层模型条件下,相比未进化基线平均准确率提升 7.2%。 在三个长视频 QA 基准测试中,Video-EMem 将 Qwen3-VL-30B 的平均准确率提升 2.6%,且平均存储减少约 99.86%。
论文提出 GFSC 框架,利用有限帧延迟优化率失真权衡。 首次证明 K 帧延迟对一般 K 阶马尔可夫源可实现联合编码率失真最优。实验表明 GFSC 性能优于因果编解码器,且在相同延迟预算下可媲美双向编解码器。
TwelveLabs Pegasus 1.5 在 Amazon Bedrock 上线,该视频语言模型支持单次分析长达 2 小时的视频并输出带时间戳的 JSON 元数据。 新增多模态提示、视频分段及实时处理功能,支持从 Amazon S3 URI 或 base64 字符串直接输入,无需预索引,数据保留在 AWS 边界内。
豆包工作结合飞书工作流,在一个对话框内完成AI短片的角色形象确认、分镜设计与Seedance 2.5视频生成。内容通过具体案例展示了如何利用多维表格与群聊无缝同步状态,从而减少工具切换,降低视频抽卡次数。
推荐理由:演示了如何用飞书工作流串联角色、分镜和视频生成,展示了单一对话框提升团队视频协作效率的实践方法。
研究指出视频世界模型的“记忆”缺陷实为指令执行失败,提出分离场景设置与指令执行的评测框架 MIST。 针对该问题提出 M3-Agent 方法,通过递归修订指令细节,使 MIST reveal 分数提升 3 倍以上。 在 WRBench 和 MBench-T 基准测试中,分别实现 26.1% 和 52.7% 的分数提升。
EVA-Cap 框架将字幕分解为原子音视频事件,通过事件中心对齐显著优化音视频字幕生成,在 ChronusAV 基准上平均性能提升 9.0%。 该框架经 SFT 与 GRPO 阶段在自构建的 EVA-Data 数据集上训练,对全局事件完整性、事件内归属及事件间同步进行显式优化,并在 WorldSense 基准上提升 3.3%。
Moment-Video 发布,包含 1,000 个人工验证的视频问答对,用于评估视频多模态大模型对瞬时视觉事件的时序保真度。 该基准涵盖 7 个领域、25 个子类及 4 项任务,测试了 34 个专有及开源模型。
针对现有评测指标难以适应多事件、多层音频混合及非对称跨模态关系的局限,研究提出事件中心评估框架AVC-Reward。 该框架将音视频事件解耦分析,通过全局叙事和谐度、事件级时间同步及细粒度属性对齐的三级指标量化一致性。 AVC-Reward在自动方法中取得最先进的人机判断一致性,并可作为在线强化学习信号提升联合生成模型的音视频一致性。
提出流式视频记忆框架 MaLoW,通过将历史上下文内化为轻量参数更新来解决传统机制中历史与当前观测争夺上下文的问题。该框架利用递归 HyperNetwork 将视频观测增量整合为固定大小的 LoRA 权重,并构建了包含 38.1 万对问答的 MaLoW-Instruct 数据集。
CoWorld Reasoner提出了一种智能体框架,利用视频世界模型作为统一视觉推理引擎,在七个基准测试中优于直接推理。 该框架通过工具暴露多种视觉操作,并引入VLM-VWM协同进化机制以固定模型权重优化执行代码。 最强变体在MMSI基准上准确率相对提升11.8%,在ERQA基准上提升13.0%。
新框架 TSG 在采样阶段将时序逻辑规范转化为可执行目标,无需额外训练或外部分类器。该框架在 220 条提示词基准上,比 CFG 提高 9.5-20 个百分点的规范满足准确率,且内存开销极小。
DeltaStreamer 提出一种结合变化感知记忆与查询驱动规划的流式视频理解智能体框架。 在 OVO-Bench 和 StreamingBench 上分别取得 66.07% 和 59.53% 的成绩。 该框架通过重放历史帧恢复被遗漏的视觉细节,提升理解准确度。
新框架 Equilibrium Forcing (EqF) 去除了噪声水平条件,解耦学习与采样,支持推理时闭环自适应。该设计提升了视频质量与一致性,超越标准噪声条件方法。论文已发表于 NeurIPS 2026。
AVA-Encoder 将电影转化为智能体原生的 Film KG,重建保真度提升 20.7 个百分点。 框架支持协调编辑并提升下游系统性能,所学习策略比人工调优少用 70% 以上的 system-prompt tokens。 团队发布了该框架、重建基准及 Film KG 数据集。
研究团队提出免训练框架 ARP-CD,通过引导有界梯度更新减少视觉注意力,构建对比解码的负样本。 实验表明,ARP-CD 在四种视频大语言模型和四个基准测试中表现优于代表性免训练基线。 该方法在降低幻觉的同时,提升了通用视频理解能力。
阿里巴巴 Token Foundry Qwen Audio 团队 3 篇论文获 EMNLP 2026 主会及 Findings 接收,涵盖视频到音频生成、大模型推理与语音合成。
ViTeX-Bench 包含 387 个 720p 真实视频,采用三轴 13 项指标评估文本准确性、视觉/时间质量及编辑局部性。 开源参考编辑器 ViTeX-Edit-14B 在配对数据上微调,CharAcc 达 0.688,为评估中视频原生编辑器最高均值。 该基准为研究视频场景文本编辑中的权衡提供了可复现基础。
HIMMEL 在 Video-MME 基准上以 63.5% 的成绩超越 32 帧密集基线 2.3 个百分点,且上下文 Token 数量减少 3.6 倍。 该方法通过轻量级三流适配器从运动向量等图中提取运动特征,并采用 InfoNCE 对齐目标优化模型。 单张 NVIDIA H20 GPU 即可运行端到端推理,耗时 1.03 秒,相关成果已被 NeurIPS 2026 接收。
PRISM 框架实现零样本、无训练的程序性视频摘要,仅选择少于 5% 的视频帧即可保留超过 84% 的语义内容。 该框架通过轻量级视觉过滤和动态生成的程序性标签作为语义锚点,相比基线性能提升最高达 7.5%。 实验在 YouCook2 和 ActivityNet Captions 数据集上进行,证明了基于动态语义锚点的多模态视频理解效率。
PhyAVBench 是首个系统评估 T2AV、I2AV 和 V2A 模型音频物理接地能力的基准,包含 11,605 段视频和 337 组配对提示。 该基准涵盖 6 个音频物理维度,提出 CPoS 指标并评估了 17 个 SOTA 模型。 评测显示领先商业模型在基础声学现象上仍存在差距,为研究指明了方向。
H-DDCM 提出一种可扩展的生成式压缩框架,用隐式随机 Hadamard 字典替代高斯码本,解决 Turbo-DDCM 在高分辨率下的计算与内存瓶颈。 该技术利用快速 Walsh-Hadamard 变换实现 $O(d \log d)$ 计算量与 $O(d)$ 内存,并引入无表格字典编码以支持大维度组合编码,无需重新训练扩散或流模型。
CineMem 提出了一种注意力对齐的细粒度记忆检索框架,通过在线聚类 KV cache 和查询级检索机制,解决了多镜头视频生成中历史记忆利用效率低的问题。该框架在固定检索预算下近似实现全记忆访问,提升了镜头转换时的长期一致性,并引入了基于 VLM 的评估指标来衡量跨镜头一致性。
LinMorph 提出将 Video DiT 线性化重构为可学习的 softmax 到线性权重转换问题,以解决现有方法中初始化的根本瓶颈。 该方法学习跨参数变形,使目标 Gated DeltaNet 参数从预训练的 query、key、value 和输出投影中联合汲取知识,而非复制预定义对应物。
Frequency-Step Cache (FSC) 将缓存同步与修复解耦,在 SkyReels-V2 上以 2.36 倍加速比超越 MotionCache,同时提升 SSIM 0.019 和 PSNR 0.5 dB。
4LC 是一种结合复合视觉表示与灵活时空访问接口的 4D 潜在缓存,通过直接复用静态和动态内容的视觉表示,避免每次生成时的 RGB 渲染和重编码。 4LC 将来自多个视觉编码器(如 VAE、DINO、V-JEPA、VGGT)的表示绑定到共享的几何和运动信息,支持在独立指定的时间和视角下读取数据,为多种下游任务提供统一的格式条件化。
FlashVSR+ 提出混合注意力架构和 Ry-DMD 训练策略,实现单步生成且用户偏好对齐的视频超分辨率。 混合注意力带来最高 2× DiT 加速,峰值内存降低 45%,可在单张 24GB RTX 4090 上完成非空间切片 4K 推理。
MERIT框架在保护时间感知的同时,通过无梯度方式恢复视频语言模型被多模态适配削弱的时间推理能力。在15项模型-基准评估中全面提升推理性能,且无需训练新参数。相关收益最高可达27.8%。
World-T3 提出测试时训练内存,将过去观测整合进专用模型参数,支持实时视频生成。 采用递归最小二乘规则增量更新,基于相机位姿读取场景特征,实现恒定存储与计算开销。 长时程基准测试中,PSNR 从 13.52 提升至 18.31 dB,旋转误差从 3.344 降至 1.075,单卡 B200 维持 20.6 FPS。
研究基于足球集锦构建新数据集,评测多模态基础模型识别视频中重要子事件的能力。 结果显示最先进模型无法可靠捕捉上下文重要性,且倾向于依赖单一主导模态。 这凸显了构建动态适应多模态异构性的模块化架构的必要性。
研究人员提出在视频下载前利用 LLM 基于元数据进行预筛选,以降低存储、时间和标注成本。 该方案以四名独立标注员的严格多数投票为基准,并通过 Gwet's AC1 一致性分析验证可靠性。LLM 预筛选方法优于两种基于关键词的启发式基线。
REEL 作为一个通用视觉记忆规划器,通过统一工具接口学习检索参考、创建视觉证据和更新持久记忆,以解决长视频生成中的视觉一致性问题。 在 JoyAI-Echo~1.5 和 MiniMax-H3 上,REEL 将 ST-Bench 跨镜头一致性提高了 15.1% 和 20.7%,在 REEL-Bench 的 Core-100 上分别提升了 2.41 和 8.32 分。
提出 AlignCache 闭环缓存框架,通过相位自适应预算路由、闭环阈值校准及动量增强草案合成,解决现有启发式方法无法验证近似误差的问题。该框架将调度转化为反馈驱动的自修正控制器,在视频扩散模型中实现更优的加速与质量平衡,代码已开源。
针对多模态大语言模型无法恢复视频时间结构的问题,提出以视觉为中心的强化学习框架 EventLens,通过恢复事件结构进行训练。 该框架构建事件分割、进程判别及多事件关系推理任务,利用 GRPO 训练并引入 MT-OPD 策略整合,无需人工偏好标签。 在 Qwen3-VL 骨干网络上,该方法在时间基准测试中表现提升,且训练成本显著低于直接混合 RL 优化。
该框架通过分解并融合相机、世界及物体三个坐标空间的控制信号,实现了对视频生成中相机运动、焦点和构图的精确控制。 在跨坐标条件融合机制下,异构提示统一引导生成过程,在保持时空连贯性的同时,显著提升了生成结果在现实感与可编辑性方面的表现。