跳到正文
arXiv · NLP· Guanrou Yang, Tian Tan, Qian Chen, Zhikang Niu, Yakun Song, Ziyang Ma, Yushen Chen, Zeyu Xie, Tianrui Wang, Yifan Yang, Wenxi Chen, Qi Chen, Wenrui Liu, Shan Yang, Xie Chen·· 7 天前AI 评分29

WavCube: 通过语义-声学联合建模统一语音理解与生成的表征

WavCube: Unifying Speech Representation for Understanding and Generation via Semantic-Acoustic Joint Modeling

AI 导读

summary_zh: WavCube 提出紧凑连续潜在表征,通过两阶段训练同时支持语音理解、重建与生成,在 8 倍维度压缩下接近 WavLM 在 SUPERB 上的表现。

来源:arXiv · NLP · arxiv.org