arXiv · NLP· Yosuke Higuchi, Tom Fizycki, Mahi Luthra, Charles-\'Eric Saint-James, Azeez Syed, Angel Villar-Corrales, Mido Assran, Nicolas Ballas, Jiayi Shen, Dongyan Lin, Phillip Rust, Surya Parimi, Vanessa Stark, Alexandre Allauzen, Bal\'azs Kegl, Juan Pino, Emmanuel Dupoux·· 21 小时前AI 评分45
GSLM2 提出多流语音表示学习与生成式口语语言建模
GSLM2: Multi-Stream Speech Representation Learning and Generative Spoken Language Modeling
AI 导读
团队提出 GSLM2 模型，通过 SpidR 2.0 编码器生成多级别离散单元，实现生成式口语语言建模。 该模型采用多流架构联合建模，在 6M 小时数据和 6.5B 参数规模下，大幅缩小口语与文本 LLM 在 sWuggy、sBLIMP 和 tSC 基准上的差距。 研究已开源训练代码和模型检查点，旨在解决语音单位质量限制及单流表示瓶颈。
来源：arXiv · NLP · arxiv.org