跳到正文
arXiv · AI· Zhisheng Zhang, Yifan Mi, Yixuan Zhou, Haiyun Li, Shengbo Cai, Dongfu Song, Ziang Xu, Jie Hao, Zhiyong Wu·· 7 天前AI 评分24

T-SemAttack 与 ROSETok:语音分词器的语义漏洞与鲁棒性研究

Speech Tokenizers are Vulnerable: Transferable Semantic Attack and Robust Tokenizer

AI 导读

论文提出可迁移语义攻击 T-SemAttack 和鲁棒语音分词器 ROSETok,揭示语音分词器在语义层面的脆弱性。T-SemAttack 通过语义编码器集成生成扰动,在保持感知质量的同时破坏语义内容;ROSETok 结合噪声训练与鲁棒语义蒸馏提升重建保真度与下游 SpeechLLM 鲁棒性。实验在 9 个 ASR 系统和 4 个 LALM 上验证了攻击的有效性与防御的鲁棒性,代码和演示已开源。

来源:arXiv · AI · arxiv.org