arXiv · AI· Gaoxiang Cong, Liang Li, Jianwei Wen, Zhedong Zhang, Zheng-Jun Zha, Qingming Huang·· 2026-10-06AI 评分32
UltraDub:统一视觉引导流学习与轨迹指导,实现逼真配音
UltraDub: Towards Authentic Dubbing by Unifying Visually-Steered Flow Learning and Trajectory Guidance
AI 导读
UltraDub 将视觉用作连续运动与结构节奏,提出统一视觉引导流学习与轨迹指导的配音框架,在四个数据集上取得 SOTA 性能。 其 MDR 模块通过共享唇动查询残差校准语言与说话人风格检索,RTG 免训练,在纯视觉预测中点评估分层多模态校正以保持时序对齐,并构建 DiverseDub 多场景基准。
来源:arXiv · AI · arxiv.org