VAHBench:面向智能体长视频生成的基准测试
VAHBench 评估智能体将用户请求转化为完整视频的能力,通过 48 种配置下的 240 次运行测试发现,视频生成的高质量分数并不等同于交付的完整性。 测试显示,缺失剧集、重复片段和静态填充物揭示了生产过程与用户要求之间的差距,添加的构图工具虽有帮助但未能一致提升性能。
VAHBench 评估智能体将用户请求转化为完整视频的能力,通过 48 种配置下的 240 次运行测试发现,视频生成的高质量分数并不等同于交付的完整性。 测试显示,缺失剧集、重复片段和静态填充物揭示了生产过程与用户要求之间的差距,添加的构图工具虽有帮助但未能一致提升性能。
DECOUPAGE 提出一种由剧本驱动的长形式多镜头、多角色音视频联合生成框架。该模型基于联合扩散架构,通过双调度时间交叉注意力机制实现视听时序解耦,支持 15-60 秒生成的多模态一致性控制。
Black Forest Labs 联合创始人 Andreas Blattmann 与 Dustin Podell 解释 FLUX 3 同时使用图像、视频和声音信号训练的原因。视频展示物体移动轨迹,声音补充接触等物理反馈;独立处理视频帧会导致放大画面闪烁,因此视频放大需保证时序一致性。团队还分享 FLUX Kontext 如何用少量数据实现局部编辑,以及用户利用模型修复旧家庭照片的使用案例。
通过探测激活来恢复蒸馏图像和视频生成器的多样性 论文:https://huggingface.co/papers/2611.18550
独立开发者 pvdyck 发布 hehehe.AI,利用自拍在手机端生成带人脸的垂直生日视频。他总结了 AI 视频生成的关键经验:结构化提示词中参考人脸比文字描述发型年龄更有效,卡通风格会导致人脸特征失真,且需在第一帧固定人脸朝向并避免说话时的镜头推进。该应用即将开放他人通过 Claude 或 ChatGPT 编写场景脚本的功能。
使用 Premiere v25.5 剪辑同一段 12:48 素材,手动编辑总耗时 32:30,AI 辅助总耗时 47:52,AI 方案反而更慢。 AI 的 Remove Pauses 功能将视频从 12:48 缩至 10:05,但产生 56 个剪辑点及闪帧、音频不连贯等问题,需 15 分钟手动清理。 作者认为手动剪辑意图更清晰,适合发布,而 AI 工具目前仅能作为混合工作流的一部分。
Musician Samantha Shokin's YouTube video of a public domain folk song was taken down due to a copyright strike from Media Nov Records。
是石科技正式发布多模态模型服务,通过自适应缓存技术使视频生成相比 Dense 基线实现端到端平均 2.48 倍加速,且生成质量保持不变。 服务结合 SGLang 推理框架优化显存协同管理,并采用基于 AudioCLIP 的模态自适应 Token 压缩方法,在 WorldSense 评测中实现 1.33 倍理解加速。
字节跳动火山引擎宣布 Seedance 2.5 4K 视频生成模型的 API 已全面开放,开发者与企业客户可通过接口调用。该模型支持 Draft(样片)模式,允许用户先用 480P 验证分镜,再低成本生成 4K 正片;配合 10-bit 色深,其纹理细节与色彩过渡可胜任大荧幕视觉要求,在参考生成和视频编辑中能更好地保持上传素材的画质与清晰度。
研究揭示时空深度伪造检测器易受规避攻击,提出SpInShield框架以解耦语义运动与可操纵频谱伪影。 SpInShield通过可学习频谱对手生成严重频谱畸变,采用捷径抑制优化策略,在模拟幅度频谱攻击下AUC比最强基线高21.30个百分点。
中国首部无真人演员、无摄影机组的全AI生成电影《三星堆:未来过去》上映三周票房约180万元。这部100分钟的科幻片原本作为AI影视展示进入院线,观众评价其“AI痕迹明显”,表明当前瓶颈已从生成成本转向观众接受度。
YVD AI Studio 允许用户通过上传照片或输入文本提示词,结合所选模型生成短视频片段,以辅助视频剪辑创作。 该工具提供 Photo-to-Video 特效(如说唱场景、霓虹舞等),免费账户每 24 小时赠送 10 积分,积分在 24 小时内有效且不可累积。 支持生成 9:16 竖屏视频用于 YouTube Shorts,用户上传素材时需拥有相应权限,生成结果需人工审查。
AI 短剧创作者 foyege 以性转设定重拍《哈利·波特》二创,马尔福变为金发大小姐,海外平台播放量达 3000 万。 作品无正式剧本,foyegé 单人使用 LibTV 无限画布调度 Seedance、可灵等模型完成分镜与特效,单集播放量百万级。 欧美歌手 JVKE、好莱坞制片人 PJ Accetturo 及多国网友点赞并录制 Reaction 视频,AI 降低了影视创作门槛。
中国创作者foyege利用AI工具制作《哈利·波特》性转二创短片,在海外平台累计获3000万播放量。 作品将马尔福设定为金发女性并与哈利展开恋爱,获得欧美歌手及好莱坞制片人点赞,多国网友自发录制Reaction视频。 创作者未使用正式剧本,单人完成前期构思、角色三视图设计及分镜执行,展现了AI降低影视制作门槛的可能性。
AutoEditor 是面向创作者的免费 AI 视频编辑器,支持将原始素材自动剪辑为优化留存率的成片。 服务覆盖美国、英国、加拿大及全球地区,提供 Starter ($10/mo)、Pro ($13/mo) 和 Studio ($49/mo) 三种付费方案,并支持 MCP 和 API 集成。 支持 LLM 简报、Agent 索引及免费试用,降低视频后期制作门槛。
Pearl Abyss 在最新财报中证实,公司正将生成式 AI 应用范围扩展至整个游戏开发管线,以自动化重复任务、辅助内容创作并优化测试流程。 该举措旨在提升开发生产力与研发速度,利用 AI 进行快速原型设计与概念验证,但强调核心玩法与内容创作仍完全由人类开发团队主导。 Pearl Abyss 明确表示,AI 仅作为提升效率的工具而非人力替代品,未来将加速推出高品质游戏。
红果通过推广AI短剧《持械入宋》回应“时间吸收器”质疑,单集算力成本约1000元,播放量达120亿。 该剧由5人团队制作,算力投入超100万元,抖音副总裁亲自推荐,凸显字节内部流量闭环优势。 此举旨在证明AI短剧具备正面价值,并为行业提供低成本高产出的参考样本。
Viral Video AI 允许从文本、照片或视频参考生成 4-30 秒的 AI 短视频,支持 TikTok、Reels 或 Shorts。 基础版支持最多 9 张图片或 2-15 秒参考视频,专业版支持 30 张图片或 2-30 秒参考视频,输出 480p/720p 分辨率。 支持粘贴公共链接作为参考,生成前需审查信用额度,用户需在平台上标注 AI 生成内容。
Mansa 推出全 AI 生成 30 集短剧《They Left Us to Die》,旨在通过低成本测试验证黑人题材受众需求,而非取代真人演员。 该平台用户日均使用 36 分钟,超 Prime Video 和 Netflix,2027 年微短剧市场规模预计达 140 亿美元。
研究团队提出 CamChoreo 基准,包含 4,229 个单镜头片段及 20 个方向感知标签,用于评测视觉语言模型的时序组合相机运动理解能力。 基于约 4.3 万片段语料微调 4B/8B 模型取得 62.1/64.1 micro F1,CamDistill 技术进一步提升 3.7-5.4 分。
VMonarch 提出用于视频扩散 Transformer 的新型注意力机制,将注意力 FLOPs 降低 17.5 倍,长视频注意力计算加速超 5 倍。 该方法基于 Monarch 矩阵表示稀疏时空注意力,并融合 FlashAttention 在线熵算法,在 90% 稀疏度下超越最先进稀疏注意力方法。
研究团队推出 DashBench 基准,测试 25 个 Video LLM 在 1,709 个包含碰撞与非碰撞长尾场景(corner cases)的驾驶视频中的表现。 评测结果显示,所有受测模型在安全关键驾驶应用所需阈值下表现不佳,常误判或漏检危险事件,并幻觉出不存在的物体或动作。 该基准结合数据集与诊断工具,旨在推动更安全、可解释的自动驾驶系统发展,代码与数据已公开。
PhysLoop 框架通过 LLM 指导视频生成、选择与修正,发布 100K 视频数据集及 PhysLoop-Gen/Repair 工具。 该框架支持受控训练数据构建和推理时修复,旨在减少人工干预,实现视频生成模型的限制性递归自我改进(RSI)。
针对现有基准无法区分理解失败与记忆缺失的问题,MemInStream 提出用于评估流式视频记忆能力的基准。 该基准通过证据控制协议关联时间定位证据区间,确保问题需依赖历史记忆而非近期观察或语言先验才能解决。 其涵盖事件检索、状态跟踪、多证据整合及上下文记忆四大类别,提供系统化的记忆评估方案。
针对SDR转HDR的盲逆问题,提出将视频反向色调映射重构为后验推理,通过潜在亮度监督纠正生成先验导致的亮度偏差。 使用视频扩散隐空间固定仿射功能量读取对数亮度,配合非对称损失选择后验分位数,并在显式色调算子族下合成训练SDR,使亮度误差更平缓且平均更小,在三项基准测试中取得最佳感知质量。
WorldTrace 是一个免训练的内存框架,通过为每个摘要槽位分配独立的分布内虚拟位置,解决了视频世界模型在超出训练范围后因 RoPE 偏移导致无法可靠访问存储内容的问题。 该框架利用模型自身注意力决定保留或合并观测,构建有界可寻址内存库;在 LoopBench 基准测试中,其 DINOv2 召回相似度比滑动窗口提升 32.6%。
提出无训练方法 MotionCFG,通过向运动嵌入注入高斯噪声构建负向条件,选择性放大 T2V 生成中的运动意图。 方法在理论上近似语义拉普拉斯锐化,抑制运动模糊区域;配合分段引导计划,以极低开销显著提升现有 SOTA T2V 框架的运动质量。 该方法已获 NeurIPS 2026 录用,并证明其原理可泛化以调节物体数量等复杂非线性概念。
summary_zh: 研究提出 vid2vid-long 方法,通过计算输入视频补丁级对应关系并引导检索,利用对应交叉注意力条件化模型,显著提升视频转视频任务的长程时间一致性。
阿里巴巴旗下 AI 音乐创作平台快乐虾米(HappyShrimp)已上线 iOS 与 Android 端,App Store 更新至 0.2.14 版本。平台支持自然语言生成带人声歌曲或纯音乐,国内标准会员约 30 元/月可生成 150 首歌曲,折合每首约 0.2 元;海外会员起售价为 14.90 美元/月。
Adrian Vale 分析了 AgentCraft 公开库中 2212 条 AI 视频和图像提示词,发现点赞最高的视频提示词通常更长且更有结构。视频提示词字数中位数达 309 字,比多数用户习惯的一行提示词长得多;图像提示词中位数 199 字。
AxiomStory 是一款 AI 故事工作室,通过自动生成的 Wiki 锁定角色特征,确保文本、图像及视频中角色外观与行为的一致性,并支持一致性检查工具。 其功能涵盖从文本导入到视频生成,付费计划包括 Writer $16/月、Studio $48/月及 Studio Pro $160/月,免费层提供约 30,000 字额度,7 天内可全额退款。
分析人士建议美中建立AI热线,以降低AI诱发核攻击的风险。 Baidu推出token exchange市场,对AI模型供应商评级并指纹识别;ByteDance发布视频模型Seedance 2.5 Flash,速度更快且成本更低。 此事件反映了AI时代大国间沟通机制与模型基础设施的演进。
字节火山引擎正式发布 Seedance 2.5 flash 视频模型,官方称其生成速度较 Seedance 2.5 提升一倍且价格更低,是效果最接近 Seedance 2.5 的模型。
AI短剧通过大幅压缩制作成本与试错成本正在侵蚀传统影视就业链条,导致大量幕后岗位被替代,同时短剧盈利空间因算力成本上涨与分账单价下降而被压缩。
推荐理由:从成本、分账到产业链重构,给出一个判断AI短剧为何吞噬传统影视产能的完整证据链。
OpenShorts是一款开源的AI视频平台,包含剪辑生成、AI UGC视频创作和YouTube自动化工具三大功能,支持Docker自托管且无水印,也可通过云端使用付费服务。其核心流程利用Gemini识别高潜力片段,结合FFmpeg进行智能9:16裁剪和自动字幕,并支持通过MCP server、REST API及Webhooks实现自动化发布到TikTok、Instagram等平台。
用户利用 MiniMax H3 在 Atlas Cloud 平台将女儿 3-6 岁期间的画作转化为 7 段动态视频,并剪辑为 42 秒成片。 生成 7 段约 46 秒素材耗资 $1.75,通过提示词保留原作独特比例与形状。 动画中人物回望镜头的效果被描述为令人毛骨悚然。
用户将 2024 年 GPT-4o 撰写的噩梦故事改编为 72 秒短片。 使用 MiniMax H3 生成 100 秒视频,成本约 $3.80。 作者认为 GPT-4o 的虚构写作优于 Astra。
用户将 2024 年让 GPT-4o 写下的噩梦故事制作为 72 秒短片。 使用 MiniMax H3 在 Atlas Cloud 上生成 100 秒视频素材,按 $0.038/秒 计价共花费约 $3.80。 作者认为 GPT-4o 在虚构写作上优于 Astra,剪辑保留了梦境的破碎跳跃感。
Adobe 在 MAX 大会上公布 Project Screen Test、Sight Span 等四项 AI 实验项目,支持对话设计角色、将平面图像转换为可探索 3D 场景及复制编辑操作。
Adobe 在 Max 大会上发布 Project Screen Test、Sight Span、Sound Bender 和 Rinse Repeat 等 AI 实验预览。