arXiv · NLP· Masaru Tanibata, Shun Takahashi, Hiroki Ouchi, Sakriani Sakti·· 10 天前AI 评分23
自监督语音模型中音素与韵律线索的层级与时间解析机制
Understanding When and Where Self-Supervised Speech Models Learn Phonemes and Prosodic Cues through Layer-Wise and Time-Resolved Probing
AI 导读
研究通过冻结编码器探针在 HuBERT 和 wav2vec 2.0 的预训练检查点上测试五个任务,发现声学韵律线索和音素边界在最早期检查点即可解码。 音素识别在预训练过程中构建,在 HuBERT 第二阶段目标下重新定位到上层中间层,且获取顺序跟踪抽象程度而非音段/超音段区别。 该发现扩展了关于语音、词汇和句法结构的解释,揭示了自监督学习层级结构的时间演变。
来源:arXiv · NLP · arxiv.org