跳到正文
arXiv · NLP· Tzu-Quan Lin, Chih-Kai Yang, Yi-Cheng Lin, Hao Tang, Hung-yi Lee·· 2026-10-21AI 评分25

LALM 通过跨模态概念神经元揭示音频-文本对齐机制

Uncovering Audio-Text Alignment in Large Audio-Language Models through Cross-Modal Concept Neurons

AI 导读

研究发现大型音频语言模型(LALM)中存在跨模态神经元,负责对齐音频与文本表示。研究在 3 个 LALM 和 4 种声学属性中验证了对齐现象。因果干预证实这些神经元对预测是必要的且可被操控。

来源:arXiv · NLP · arxiv.org