arXiv · NLP· Karl El Hajal, Mathew Magimai. -Doss·· 8 小时前AI 评分31
OLIVE: 结合波形重建的视图增强潜在预测语音自监督学习框架
OLIVE: View-Augmented Latent Prediction with Waveform Reconstruction for Speech SSL
AI 导读
提出语音自监督学习框架 OLIVE，联合优化掩码潜在预测与波形重建目标。 单一编码器内通过功能分离，重建约束早期特征保留信号级信息，掩码预测塑造后期上下文表征。 加入波形混合与增益增强可灵活调整表征偏向，在保持识别和语义任务竞争力的同时，显著改善说话人识别、生成及重建任务表现。
来源：arXiv · NLP · arxiv.org