arXiv · NLP· Heyang Liu, Lixin Zhang, Jiayi Huang, Ziyang Cheng, Yuhao Wang, Ronghua Wu, Qunshan Gu, Yanfeng Wang, Yu Wang·· 4 小时前AI 评分21
Speech LLMs 呼吸建模：非语言发声在对话中的研究
Speech LLMs That Breathe: Modeling Non-Verbal Vocalizations in Dialogue
AI 导读
研究人员通过覆盖13类非语言发声（NVV）的自动合成数据集，提升了语音交互模型在共情互动和角色扮演中生成适当NVV事件的能力。 该方法采用多阶段微调和NVV感知的GRPO进行优化，实质性增强了VocalNet和VITA-Qinyu两个模型的表达力。 研究进一步讨论了实现高质量自然语音生成的架构必要性。
来源：arXiv · NLP · arxiv.org