arXiv · NLP· Tairan Chen, Richard Yucheng He, Yihang Liu, Baodong Cao, Chen Xu·· 7 天前AI 评分32
通用多模态 LLM 数据高效适应全双工词级口语对话研究
An LLM Is All You Need: Data-Efficient Adaptation to Full-Duplex, Word-Level Spoken Dialogue
AI 导读
基于冻结的多模态 LLM,通过 97M 参数适配层以约 30 GPU 小时训练出全双工词级口语对话系统。 Thinker 保持冻结,Talker 独立读取离散 token;在 Full-Duplex-Bench 和 InteractionBench 中,该系统的口语任务准确率、连贯性优于大规模训练的开源自对系统。
来源:arXiv · NLP · arxiv.org