跳到正文
arXiv · NLP· Ming-Hao Hsu, Yuxuan Hu, Shujie Liu, Jinyu Li, Yan Lu, Zhizheng Wu·· 3 天前AI 评分21

C-Gate:基于文本信息瓶颈的语音 LLM 通用桥接架构

Is Text All You Need? Text as a Universal Information Bottleneck for Speech LLMs

AI 导读

论文提出 Convex Gate (C-Gate) 架构,将语音帧表示为冻结 token 嵌入的凸组合,通过一个共享解码器同时执行准确转录和情感识别。

来源:arXiv · NLP · arxiv.org