跳到正文
arXiv · ML· Donghyun Kim, Jin Hong, Seungmin Kim, Dain Kim, Junseok Kwon, Daeseon Choi·· 10 天前AI 评分42

MUTE:通过多层级对齐解耦保护语音免受数字人深伪滥用

MUTE: Multi-Level Alignment Uncoupling Against Talking-Head Exploitation for Voice Protection

AI 导读

MUTE 是一个语音保护框架,通过干扰跨模态注意力与音频嵌入,解耦数字人模型中的音视频对齐。 扰动限制在短时傅里叶变换高能区域以抗后处理攻击,并可选加入说话人级目标防止 TTS 重合成绕过。 实验表明该方法能在保持感知音质的同时,持续降低白盒与黑盒模型的唇音同步精度。

来源:arXiv · ML · arxiv.org