跳到正文
arXiv · NLP· Chen-An Li, Cheng-Han Chiang, Hung-yi Lee·· 10 天前AI 评分21

IRIS-Embed 改进指令感知语音检索的 LALM 嵌入基线

Improving Large Audio-Language Model Embedding Baselines for Instruction-Aware Speech Retrieval

AI 导读

IRIS-Embed 通过对比训练和指令感知的音频层加权,将大型音频语言模型(LALMs)适配为嵌入模型,在 INSPIRE 基准测试中显著超越基线。 最佳模型取得 62.92% 的宏平均 Recall@50,优于最强基线的 45.15%。该模型使用约 900K 真实与合成数据样本构建训练集,在 MAEB 基准上获得 9.4-19.8 点的宏平均提升,证明其在语音检索之外的泛化能力。

来源:arXiv · NLP · arxiv.org