跳到正文
arXiv · NLP· Xinnian Zhao, Chia-Hua Wu, Pu Wang, Hugo Van Hamme·· 2026-10-09AI 评分22

Local Prototype Reconstruction(LPR)用于语音-LLM 桥接预训练

Local Prototype Reconstruction for Text-Compatible Speech-to-LLM Bridge Pretraining

AI 导读

研究提出本地原型重建(LPR)正则化器,提升多语言 ASR 和语音翻译中语音-LLM 桥接的迁移能力,尤其在低资源场景下增益显著。 LPR 要求对齐的桥接 token 可从冻结 LLM 嵌入的局部邻域中重建,并证明该词法流形兼容性与下游性能正相关。 该方法无需修改模型结构,为可复用桥接初始化提供了可量化的诊断标准。

来源:arXiv · NLP · arxiv.org