arXiv · NLP· Tianchi Liu, Nicholas Moratelli, Khurram Azeem Hashmi, Mohammadreza Zolfaghari, Rishabh Jain, Louis Lu, Changdae Park, Amril Nazir·· 2026-10-15AI 评分20
CAFE:将特征蒸馏限制在语言路由适配器中以实现紧凑多语言自动语音识别
CAFE: Confining Feature Distillation to Language-Routed Adapters for Compact Multilingual Automatic Speech Recognition
AI 导读
研究提出 CAFE 方法,通过限制 CKA 梯度在英语绕过的适配器中解决多语言 ASR 的蒸馏矛盾,在 Open ASR Leaderboard 上平均 WER 从 8.55% 降至 8.02%。 该方法基于发现 CKA 梯度与英语子空间重叠率达 97.5%-99.5% 的分析,在 254M 参数规模下落后 0.6B 教师模型 2 个 WER 点,但在 24 种语言的 48 个测试集上具有竞争力。
来源:arXiv · NLP · arxiv.org