跳到正文
arXiv · NLP· Muhammad Khan, Xiaodong Cui, Brian Kingsbury, George Saon·· 7 天前AI 评分30

提出分布鲁棒 BEST-RQ 以改进语音表征学习

Distributionally Robust BEST-RQ For Speech Representation Learning

AI 导读

为增强 BEST-RQ 对不同量化配置的鲁棒性,提出分布鲁棒扩展方法。 将训练构建为基于码本的组分布鲁棒优化(DRO)问题,通过自适应重权强调表现较差的组,并使用 Kullback-Leibler 散度正则化。 在 Multilingual LibriSpeech 数据集上验证,该方法性能优于传统的多个码本均匀平均方案。

来源:arXiv · NLP · arxiv.org