跳到正文
arXiv · NLP· Ju-Chieh Chou, Jiawei Zhou, Karen Livescu·· 2026-10-14AI 评分30

通过匹配内部文本预测将文本大模型蒸馏到语音对语音大模型

Distilling Text LMs into Speech-to-Speech LMs by Matching Internal Text Predictions

AI 导读

研究提出了一种语音对语音预训练方法,通过创建内部文本接口将文本大模型的知识蒸馏到仅具备语音输入输出的模型中,实现了从文本基础模型向语音模型的知识迁移。 模型在匹配训练条件下,显著提升了语音续写的生成困惑度,接近外部语音识别提示的内部独白模型表现;蒸馏过程有效提升了模型在文本和语音评估下的事实性能,更好地保留了基础文本语言模型的知识。

来源:arXiv · NLP · arxiv.org