基于关键帧锚定注意力与重标定时间 RoPE 的语义连贯生成式中间帧合成
针对生成式中间帧合成中运动大、帧间不稳定及语义错位问题,该方法通过关键帧锚定注意力偏置(Keyframe-anchored Attention Bias)从关键帧和文本中获取语义与时间引导,并利用重标定时间 RoPE(Rescaled Temporal RoPE)增强自注意力对关键帧的关注以严格约束帧一致性。
针对生成式中间帧合成中运动大、帧间不稳定及语义错位问题,该方法通过关键帧锚定注意力偏置(Keyframe-anchored Attention Bias)从关键帧和文本中获取语义与时间引导,并利用重标定时间 RoPE(Rescaled Temporal RoPE)增强自注意力对关键帧的关注以严格约束帧一致性。
该方法报告了用于自动化视频编辑的智能体工具,覆盖场景预览、视频摘要和电影预告片三类任务。 任务在编辑目标、复杂度和创意层级上存在差异。 研究讨论了自动化与智能体性的影响。
该模型通过交叉注意力层连接预训练视频模型与独立动作模型,支持任意骨骼 Rig 的动作生成。动作模型在 20 万训练对上进行优化,能定位关节以恢复相机并生成忠实于文本的 3D 运动。该架构支持从视频生成动作、反向生成视频及关键帧控制,优于视频优先流水线。
该研究提出 Code2Video-Compass 基准,包含 2,104 个任务,覆盖 T2V、I2V 及 V2V 设置,用于评估代码生成视频。 其双层级评估框架结合 12 项客观指标与 5 项主观指标,测试了来自 9 个系列的 15 个 MLLM。 结果显示,随着构建、动态动画及状态依赖复杂度增加,领先模型在生成高质量视频时表现普遍下降。
研究团队构建包含 12,000 个 5 秒剪辑的 OSVD 数据集,并提出 PI-MLLM 模型以分析奇怪治愈系视频(OSVs)。 该模型集成模态特定动态对齐(MSDA)与联盟制视听归因(CAVA),利用 Shapley 归因识别主导模态及视听证据的协同或冲突关系。 实验表明 PI-MLLM 提升了观众侧情绪预测及基于感官解释的质量,验证了物理感官线索对视频情绪分析的价值。
CALM 通过离线校准层头合并策略,在相同显存预算下优化视频生成 KV 缓存压缩,使 LPIPS 降低约 21%。 该方法利用注意力输出误差作为轻量代理,结合动态规划确定最佳合并比例分配。
MoDDiT 通过独立路由 MLP 和 self-attention 操作,在 Diffusion Transformers 中实现动态计算分配。 模型从零开始训练时,MoDDiT 可仅处理 12.5% 的 tokens,从而显著降低计算成本。其分配过程具有可解释性,并能用于训练视频生成模型及蒸馏稠密双向模型。
ReCam 将历史潜变量分组投影至 Diffusion Transformer 隐藏空间,利用自注意力机制降低 token 数量并保留完整历史访问。该方法在 VBench-Long 上取得 80.1 的最高总分,且在服装一致性等四项指标上领先,得分分别为 4.09 对比基线的 3.03。
A2O LITE NEON AI 舞蹈生成器允许用户上传两张照片生成 15 秒同步双人 K-pop 舞蹈视频。支持 480p 与 720p,单次支付 $9.99 起,无订阅。
阅文集团将 DramaBuddy 漫剧助手升级为 OPC 一站式平台,打通从 IP 授权到全球发行的全链路,服务超 5 万名创作者。 依托起点 200 余种流派的海量 IP 库,平台提供最高约 30% 算力补贴,旨在撮合适配创作者开发未改编 IP。 上半年阅文漫剧收入达 4.3 亿元,超 1500 位作家首次获得版权分成收入。
Steam 玩家呼吁添加“无 AI”筛选器,以过滤大量使用 AI 生成或 Vibe Coding 的低效提交游戏。 Next Fest 中涌现大量使用 ChatGPT 生成美术或基于 Claude Opus 5.5 拆解改制的低质量游戏,用户希望利用现有标签系统剔除 AI 内容。
作者受 Claude 提示,在 LessWrong 分享了其 AI Doompop 注释网站。 网站支持查看歌曲谱系树、视频同步注释及反馈,包含讽刺曲和《P(bloom)》等作品。 开放讨论站点功能、Bug 及最佳歌曲推荐。
summary_zh: Everygen AI 上线一体化工作室,支持在单一界面调用 MiniMax H3、Veo3.1、Kling V3.0 等模型,实现文本转视频及图像生成。
AI生成的年轻Val Kilmer形象经其遗产授权,将在《Western As Deep as the Grave》中出演;AI“演员”Tilly Norwood将主演电影《Misaligned》。 Framestore首席创意官认为,完全合成的演员无法捕捉内心情感,因为模型是“基于事物表面”训练的。
用户上传两张照片即可生成双人舞蹈视频,工具名为 A2O LITE,基于固定 NEON 双人模板实现。 生成过程需三步:上传正脸清晰、无重滤镜的两人照片,保持固定双人 NEON 舞台模板,预览后渲染并下载。 支持 K-pop 编舞、TikTok 舞蹈挑战等更多双人固定模板,也可用于朋友、宠物或情侣照片。
IT之家实测联想 YOGA Pro 15 RTX Spark(NVIDIA RTX Spark N1X),15.3英寸 2K 165Hz OLED 触控屏,16.7mm/1.7kg,128GB 统一内存版售价 42999 元。
SlotMatch 知识蒸馏框架将物体中心表征传递至轻量级学生模型,在三个数据集上超越所有 SOTA 无监督视频分割模型。 通过余弦相似度对齐教师与学生槽位方向而忽略范数,学生模型参数少 3.6 倍,速度提升 2.7 倍。 该框架已发布代码,论文被 WACV 2027 录用。
研究人员提出 Mise-en-Video (MeV) 框架,实现可编排的多镜头视频生成。 该框架结合分层注意力机制与 3D 感知布局引导,确保叙事一致性与空间控制。 研究构建了包含 16 万视频的标注数据集,并在质量与控制性上优于基线模型。
FrameGRPO通过多帧Rollouts和门控时间效率信用增强视频MLLM推理,无需修改模型架构或引入辅助网络。 该框架结合均匀时间子采样构建多样化视觉证据,并在全比率参考组失败时选择性强化低比率正确轨迹。 实验在多个视频理解与推理基准上显示其较标准GRPO有稳健提升。
summary_zh: SpriteStage 提出了一种渐进式场景编程框架,通过迭代执行和引擎重组织生成长时动画。该框架利用运行时和视觉反馈修订动作或故事节拍,确保场景协调。
ICAT 基准包含 909 个评估单元,用于测试视频生成器预测物理风险的能力。 研究发现最强系统严格成功率仅 23.5%,常缺失或弱化严重后果。 该工作揭示了生成系统复现风险动作与产生相应结果之间的差距。
SpargeAttention2 提出可训练稀疏注意力方法,结合混合 Top-k+Top-p 掩码与蒸馏目标,在视频扩散模型中实现 95% 注意力稀疏率和 16.2 倍加速,同时保持生成质量。 该方法优于现有无训练稀疏注意力方案,其混合掩码机制在高空稀疏率下更鲁棒,并解决了扩散损失微调中的局限性。
SLA2 提出可学习路由与量化感知微调,解决原 SLA 启发式划分及误差分解不匹配问题。 该模型通过动态选择稀疏或线性注意力分支,并采用直接分解公式及低比特注意力设计,在视频扩散模型中实现 97% 注意力稀疏度与 18.6 倍推理加速,同时保持生成质量。
RECAP 是一种无需训练的方法,通过互惠校正结合稀疏注意力与分层缓存,在 HunyuanVideo 720p 生成中实现 3.05 倍加速,且在保真度和推理速度上优于所有测试的直接组合方法。 其核心机制是利用缓存的密集细化校正稀疏估计中遗漏的交互,同时利用新的稀疏统计数据跟踪输入变化并调节校正老化。
提出 Clean Forcing 方法,通过训练 5.9M 参数 LoRA 修正器消除自回归视频扩散中的漂移。 利用确定性漂移特性,在冻结基座上回归反事实速度差,无需真实视频训练,推理无额外成本。 50 秒生成中 Δ-drift 从 +11.3 降至 +1.65,比最佳已发表结果少用 150 倍以上数据。
Video-EMem 提出可进化视频记忆框架,利用时间锚定感知观察组合紧凑文本与稀疏图像,提升长视频问答性能。 该框架通过独立反馈进化 Writer 与 Reader 工作流,在冻结底层模型条件下,相比未进化基线平均准确率提升 7.2%。 在三个长视频 QA 基准测试中,Video-EMem 将 Qwen3-VL-30B 的平均准确率提升 2.6%,且平均存储减少约 99.86%。
论文提出 GFSC 框架,利用有限帧延迟优化率失真权衡。 首次证明 K 帧延迟对一般 K 阶马尔可夫源可实现联合编码率失真最优。实验表明 GFSC 性能优于因果编解码器,且在相同延迟预算下可媲美双向编解码器。
Textideo Director 将章节、镜头、素材、音频和字幕整合在同一项目中,支持场景级重构与多版本对比,无需剪辑经验即可生成完整影片。 支持 1080p 导出、多轨混音与字幕烧录,角色、场景与产品元素可复用,首尾帧锁定保持画面连续,全部操作在浏览器内完成。
Valve 面向独立游戏与试玩版的活动 Steam 新品节开幕,大量游戏的美术风格看起来像通过 ChatGPT 提示词生成,不少玩家呼吁 Steam 把这类劣质作品过滤掉。Steam 已有完善标签系统,实现筛选功能难度不大,但 Valve 需新增 AI 标签。
Kling AI 发布 4.0 版本,分辨率与控制精度提升,单次可生成最长 30 秒视频,并接受最多 10 张关键帧图像。Omni Reference 系统升级,单次生成支持最多 15 个参考资产,包括图像、视频和元素。新增立体声音频和 10 多种语言的唇形同步功能。随主模型发布的 Flash 版本侧重速度与成本,支持 MCP 和 CLI 访问。
TwelveLabs Pegasus 1.5 在 Amazon Bedrock 上线,该视频语言模型支持单次分析长达 2 小时的视频并输出带时间戳的 JSON 元数据。 新增多模态提示、视频分段及实时处理功能,支持从 Amazon S3 URI 或 base64 字符串直接输入,无需预索引,数据保留在 AWS 边界内。
豆包工作结合飞书工作流,在一个对话框内完成AI短片的角色形象确认、分镜设计与Seedance 2.5视频生成。内容通过具体案例展示了如何利用多维表格与群聊无缝同步状态,从而减少工具切换,降低视频抽卡次数。
推荐理由:演示了如何用飞书工作流串联角色、分镜和视频生成,展示了单一对话框提升团队视频协作效率的实践方法。
Arena 平台发布 2026 年第 42 周盲测排名,国产模型稳定于中上游,kimi-k3-max 代码榜居第 10 名。 mimo-v2.6-pro 首次进入前端开发榜前 20,位列第 19;gemini-3.5-flash-medium 等新模型直接冲进综合榜前 30。 榜单反映用户主观偏好而非绝对能力,分差在误差范围内视为并列。
火山引擎发起精品 AI 剧激励计划,面向使用 Seedance 制作并在红果短剧上线的作品。月度排名前 10 的单部激励最高可达 20 万元,首期申报截止至 2027 年 1 月 31 日。
研究指出视频世界模型的“记忆”缺陷实为指令执行失败,提出分离场景设置与指令执行的评测框架 MIST。 针对该问题提出 M3-Agent 方法,通过递归修订指令细节,使 MIST reveal 分数提升 3 倍以上。 在 WRBench 和 MBench-T 基准测试中,分别实现 26.1% 和 52.7% 的分数提升。
针对国内超55%算力消耗于短剧与视频生成的数据,豆包公关负责人刘星发文称该信息不靠谱。 字节内部统计显示,公司总算力中仅约10%用于视频生成模型的训练和推理。 此回应旨在澄清视频生成模型的实际算力占比,纠正了市场对该领域算力消耗的高估。
利用 AI Zombie Trend 工具,用户可上传两张照片生成15秒 9:16 竖屏叙事视频,无需付费即可预览三张电影感镜头。 视频支持情侣、好友、家人或宠物关系,包含动态与音效,照片在7天后自动删除。 提供单次10积分及多件优惠包,无水印且积分永不过期。
索尼申请一项专利,利用 AI 在 GPU 完成渲染前预测下一帧,解决帧生成带来的额外延迟并让画面更稳定。 该技术通过联合训练的编解码器将画面转为嵌入表示,并在渲染管线并行运行中,结合运动矢量和玩家手柄操作历史来预测下一帧,从而在正式渲染完成前将预测画面送显。
VAST正式发布并开源实时世界模型EdenLive,在单张Nvidia RTX 5090上以720P分辨率实现超过24FPS的生成速度,端到端延迟达百毫秒级。该模型支持多种参考输入与画风指定,能将简化场景或视频实时渲染为精细画面,并同步开放了模型权重、推理代码及Game Prototype Turbo工具。
推荐理由:VAST开源实时世界模型EdenLive,单卡RTX 5090下720P生成速度超24FPS,支持多种画风实时渲染。
Murea Labs 团队模型 Murea-Pro 在交互视频评测 WBench Full-289 中以 81.1 分排名第一,RTX PRO 6000 上实现 3.6 秒生成 5 秒视频的实时生成速度。该团队发布 Murea-InWorld 技术报告,介绍基于 Murea-Mind 与 Murea-Pro 双层架构的实时互动内容模型,支持持续多轮交互与状态记忆。
推荐理由:原文展示了模型在WBench评测中登顶及实时生成速度,解释了双层架构如何支撑持续交互与记忆。