跳到正文
arXiv · NLP· Ryo Magoshi, Shinsuke Sakai, Tatsuya Kawahara·· 2026-10-08AI 评分35

基于音素引导初始化的 LLM 语音识别方法

Phoneme-Guided Initialization for LLM-based Speech Recognition

AI 导读

针对低资源场景下语音大语言模型(speech LLM)性能下降的问题,研究提出了“音素引导初始化”方法,在端到端框架中利用音素中介特性优化 ASR 任务。 具体通过先在 S2P 任务上预训练音频编码器、在 P2G 任务上预训练 LLM,再连接并进行全模型端到端微调;实验覆盖日语 CSJ、中文 AISHELL-1 及 Common Voice 25.0 中的塔塔尔语和乌尔都语。

来源:arXiv · NLP · arxiv.org