arXiv · NLP· Yansong Liu, Yuan Liu·· 6 小时前AI 评分28
VIRBA：通过强化行为对齐增强语音大语言模型的跨声学鲁棒性
Enhancing Speech Large Language Models through Reinforced Behavior Alignment
AI 导读
VIRBA 提出了一种针对语音大语言模型（SpeechLM）的强化学习框架，旨在解决同一语义指令在不同声学条件下导致行为策略不一致的问题。 该框架通过构建多视角语音指令组，结合语义偏好、规则可验证性及跨声学不变性奖励，利用 CA-GRPO 优化模型。实验表明，VIRBA 在推理密集型和受声学干扰的语音提示上取得了最大性能提升，该成果已被 NeurIPS 2026 接收。
来源：arXiv · NLP · arxiv.org