跳到正文
arXiv · NLP· Ming-Hao Hsu, Xiaohai Tian, Jun Zhang, Lu Lu, Yuxuan Wang, Zhizheng Wu·· 2026-10-15AI 评分26

几何对齐不等于功能等价:语音-文本模态差异的逐层分析

Geometric Alignment without Functional Equivalence: A Layer-wise Analysis of the Speech-Text Modality Gap

AI 导读

研究发现 Qwen2.5-Omni 和 MiniCPM-o 等模型中,中间层语音与文本表征几何对齐,但深层答案边际仍有差异,表明几何对齐不隐含功能等价。 具体而言,Qwen2-Audio 表现出较弱的对齐特征,提示不同的故障模式;注意力干预实验证实晚期注意力分配对答案码分离有因果影响,且压缩语音信号可修复部分仅出现在语音中的错误。

来源:arXiv · NLP · arxiv.org