Uni-Stream：用于语音合成与识别的统一流式语音语言模型

研究提出 Uni-Stream，一个基于紧凑预训练语音模型的统一流式语音语言模型，支持语音识别与合成双向交互。 模型通过两阶段训练处理交织的文本与语音流，性能接近专用任务模型。研究者将公开发布生成的转录文本及词级时间戳。 分析发现语音与文本在统一架构中占据不同的潜在特征空间，且模态内表征在深层网络变得更依赖任务。