跳到正文
arXiv · NLP· Cihan Xiao, Yiwen Shao, Chenxing Li, Xiang He, Zhenwen Liang, Steve Yves, Sanjeev Khudanpur, Liefeng Bo·· 2026-10-14AI 评分33

MAPO 缓解音频推理中的晚期模态崩塌

Escape the Language Prior: Mitigating Late-Stage Modality Collapse in Audio Reasoning via Modality-Aware Policy Optimization

AI 导读

音频大语言模型在长链推理中常因标准 RL 方法忽视非文本模态依赖,导致晚期模态崩塌及幻觉。 研究人员提出模态感知策略优化(MAPO),一种双分支强化学习框架,通过模态相关性掩码动态聚焦关键 token,并引入辅助注意力损失以维持对源模态的关注。 MAPO 在复杂音频推理基准测试中显著提升了长程推理保真度,在开源权重模型中表现极具竞争力。

来源:arXiv · NLP · arxiv.org