跳到正文
arXiv · AI· Kaiwen Luo, Chunxi Luo, Liang Lin, Yuxuan Li, Zhenhong Zhou, Junhao Dong, Yingjie Zhou, Zhendong Chu·· 2026-10-05AI 评分37

EchoDistill:通过噪声到干净自蒸馏提升大型音频语言模型鲁棒性

EchoDistill: Robust Large Audio Language Models via Noisy-to-Clean Self-Distillation

AI 导读

提出EchoDistill框架,利用干净音频作为后训练期间的特权信息,结合掩码响应token蒸馏与任务门控一致性塑形,对齐噪声输入生成与干净条件语义。 在-10dB噪声下,该框架使三个LALM骨干的平均噪声输入准确率较最强基线提升1.63个百分点,Qwen2.5-Omni的噪声准确率从59.33%升至62.94%。 推理时仅保留学生模型,无额外推理成本,且未牺牲干净音频处理能力。

来源:arXiv · AI · arxiv.org