跳到正文
arXiv · NLP· Jongbhin Woo, Jaewook Jeong, Joon Son Chung·· 17 小时前AI 评分32

当声音吸引注意:恢复音频 LLM 未能表述的事件时序

When Sounds Turn Heads: Recovering Event Timing That Audio LLMs Fail to Say

AI 导读

研究发现音频 LLM 能感知声音发生时间但无法准确表述,通过追踪特定注意力头并引入无训练的头引导解码方法,可提升时间戳准确性。该方法在多个基准测试中表现优于模型原始答案,并在模型训练后发布的录音上将 mIoU 从 0.07-0.36 提升至 0.48-0.56。结果表明音频 LLM 的时序错误主要源于表述能力而非感知能力,其自身注意力机制可部分弥补这一差距。

来源:arXiv · NLP · arxiv.org