arXiv · NLP· Ju-Chieh Chou, Jiawei Zhou, Karen Livescu·· 2026-10-07AI 评分32
量化语音-文本语言模型中的生成模态差距
Quantifying the Generation Modality Gap in Speech-Text Language Models
AI 导读
研究基于流匹配的语音语言模型,构建统一评测套件比较纯语音、纯文本及语音-文本模型在匹配数据分布下的生成表现。实验表明,联合语音-文本建模显著提升了语义连贯性,但在手机 n-gram、说话人相似度及音质指标上改善有限甚至下降,而情感分布指标有所提升。结果显示文本提供了高效的语义训练信号,有助于弥合语音-文本模型在基于转录本的语义连贯性上的规模差距。
来源:arXiv · NLP · arxiv.org