跳到正文
10月20日周二
  1. arXiv · ML32

    SpargeAttention2:通过混合 Top-k+Top-p 掩码与蒸馏微调实现可训练稀疏注意力

    SpargeAttention2 提出可训练稀疏注意力方法,结合混合 Top-k+Top-p 掩码与蒸馏目标,在视频扩散模型中实现 95% 注意力稀疏率和 16.2 倍加速,同时保持生成质量。 该方法优于现有无训练稀疏注意力方案,其混合掩码机制在高空稀疏率下更鲁棒,并解决了扩散损失微调中的局限性。

  2. arXiv · ML20

    RECAP:通过互惠稀疏注意力与分层缓存实现高效视频扩散

    RECAP 是一种无需训练的方法,通过互惠校正结合稀疏注意力与分层缓存,在 HunyuanVideo 720p 生成中实现 3.05 倍加速,且在保真度和推理速度上优于所有测试的直接组合方法。 其核心机制是利用缓存的密集细化校正稀疏估计中遗漏的交互,同时利用新的稀疏统计数据跟踪输入变化并调节校正老化。

  3. arXiv · ML26

    Video-EMem:面向长视频的紧凑型可复用记忆框架

    Video-EMem 提出可进化视频记忆框架,利用时间锚定感知观察组合紧凑文本与稀疏图像,提升长视频问答性能。 该框架通过独立反馈进化 Writer 与 Reader 工作流,在冻结底层模型条件下,相比未进化基线平均准确率提升 7.2%。 在三个长视频 QA 基准测试中,Video-EMem 将 Qwen3-VL-30B 的平均准确率提升 2.6%,且平均存储减少约 99.86%。

  4. AWS Machine Learning Blog36

    TwelveLabs Pegasus 1.5 已上线 Amazon Bedrock

    TwelveLabs Pegasus 1.5 在 Amazon Bedrock 上线,该视频语言模型支持单次分析长达 2 小时的视频并输出带时间戳的 JSON 元数据。 新增多模态提示、视频分段及实时处理功能,支持从 Amazon S3 URI 或 base64 字符串直接输入,无需预索引,数据保留在 AWS 边界内。

10月19日周一
  1. 豆包工作62

    豆包工作结合飞书搞定AI短片全流程的实践教程

    豆包工作结合飞书工作流,在一个对话框内完成AI短片的角色形象确认、分镜设计与Seedance 2.5视频生成。内容通过具体案例展示了如何利用多维表格与群聊无缝同步状态,从而减少工具切换,降低视频抽卡次数。

    推荐理由:演示了如何用飞书工作流串联角色、分镜和视频生成,展示了单一对话框提升团队视频协作效率的实践方法。

10月16日周五
  1. arXiv · NLP24

    EVA-Cap:通过事件中心对齐优化音视频视频字幕生成

    EVA-Cap 框架将字幕分解为原子音视频事件,通过事件中心对齐显著优化音视频字幕生成,在 ChronusAV 基准上平均性能提升 9.0%。 该框架经 SFT 与 GRPO 阶段在自构建的 EVA-Data 数据集上训练,对全局事件完整性、事件内归属及事件间同步进行显式优化,并在 WorldSense 基准上提升 3.3%。

  2. arXiv · AI39

    AVC-Reward:面向复杂场景的事件中心音视频一致性评估框架

    针对现有评测指标难以适应多事件、多层音频混合及非对称跨模态关系的局限,研究提出事件中心评估框架AVC-Reward。 该框架将音视频事件解耦分析,通过全局叙事和谐度、事件级时间同步及细粒度属性对齐的三级指标量化一致性。 AVC-Reward在自动方法中取得最先进的人机判断一致性,并可作为在线强化学习信号提升联合生成模型的音视频一致性。

  3. arXiv · AI31

    CoWorld Reasoner:基于进化视频世界模型驱动框架的智能体多模态推理

    CoWorld Reasoner提出了一种智能体框架,利用视频世界模型作为统一视觉推理引擎,在七个基准测试中优于直接推理。 该框架通过工具暴露多种视觉操作,并引入VLM-VWM协同进化机制以固定模型权重优化执行代码。 最强变体在MMSI基准上准确率相对提升11.8%,在ERQA基准上提升13.0%。

10月15日周四
10月14日周三
  1. arXiv · AI42

    HIMMEL:面向长视频理解的分层交错多流运动编码

    HIMMEL 在 Video-MME 基准上以 63.5% 的成绩超越 32 帧密集基线 2.3 个百分点,且上下文 Token 数量减少 3.6 倍。 该方法通过轻量级三流适配器从运动向量等图中提取运动特征,并采用 InfoNCE 对齐目标优化模型。 单张 NVIDIA H20 GPU 即可运行端到端推理,耗时 1.03 秒,相关成果已被 NeurIPS 2026 接收。

  2. arXiv · AI20

    PRISM 实现零样本无训练的程序性视频高效摘要

    PRISM 框架实现零样本、无训练的程序性视频摘要,仅选择少于 5% 的视频帧即可保留超过 84% 的语义内容。 该框架通过轻量级视觉过滤和动态生成的程序性标签作为语义锚点,相比基线性能提升最高达 7.5%。 实验在 YouCook2 和 ActivityNet Captions 数据集上进行,证明了基于动态语义锚点的多模态视频理解效率。

  3. arXiv · AI22

    H-DDCM:基于 Hadamard 码本的快速生成式图像和视频压缩

    H-DDCM 提出一种可扩展的生成式压缩框架,用隐式随机 Hadamard 字典替代高斯码本,解决 Turbo-DDCM 在高分辨率下的计算与内存瓶颈。 该技术利用快速 Walsh-Hadamard 变换实现 $O(d \log d)$ 计算量与 $O(d)$ 内存,并引入无表格字典编码以支持大维度组合编码,无需重新训练扩散或流模型。

  4. arXiv · AI31

    CineMem: 基于注意力对齐的细粒度记忆检索用于多镜头长视频生成

    CineMem 提出了一种注意力对齐的细粒度记忆检索框架,通过在线聚类 KV cache 和查询级检索机制,解决了多镜头视频生成中历史记忆利用效率低的问题。该框架在固定检索预算下近似实现全记忆访问,提升了镜头转换时的长期一致性,并引入了基于 VLM 的评估指标来衡量跨镜头一致性。

  5. arXiv · AI32

    4LC:用于动态世界建模高效条件化的 4D 潜在缓存

    4LC 是一种结合复合视觉表示与灵活时空访问接口的 4D 潜在缓存,通过直接复用静态和动态内容的视觉表示,避免每次生成时的 RGB 渲染和重编码。 4LC 将来自多个视觉编码器(如 VAE、DINO、V-JEPA、VGGT)的表示绑定到共享的几何和运动信息,支持在独立指定的时间和视角下读取数据,为多种下游任务提供统一的格式条件化。

  6. arXiv · AI37

    REEL:通过检索、评估和演化视觉记忆实现任意长时序多镜头视频生成

    REEL 作为一个通用视觉记忆规划器,通过统一工具接口学习检索参考、创建视觉证据和更新持久记忆,以解决长视频生成中的视觉一致性问题。 在 JoyAI-Echo~1.5 和 MiniMax-H3 上,REEL 将 ST-Bench 跨镜头一致性提高了 15.1% 和 20.7%,在 REEL-Bench 的 Core-100 上分别提升了 2.41 和 8.32 分。

  7. arXiv · AI24

    EventLens:用于视频理解的事件结构强化学习框架

    针对多模态大语言模型无法恢复视频时间结构的问题,提出以视觉为中心的强化学习框架 EventLens,通过恢复事件结构进行训练。 该框架构建事件分割、进程判别及多事件关系推理任务,利用 GRPO 训练并引入 MT-OPD 策略整合,无需人工偏好标签。 在 Qwen3-VL 骨干网络上,该方法在时间基准测试中表现提升,且训练成本显著低于直接混合 RL 优化。