MosaicAudio 通过多教师蒸馏优化视频配音的语义、同步、审美与空间表现

MosaicAudio 采用多教师在策略蒸馏，整合语义、同步、审美与空间四个维度反馈，推理时无需调用教师模型。 学生模型为 518M 参数，采用 25 步采样，单张 A800 生成 9 秒立体声音频仅需 0.6 秒。 该方法在 VGGSound 和 AudioCanvas 上取得领先的四维感知表现，并提升人工音视频一致性评分。