跳到正文
arXiv · AI· Sonal Kumar, Sinan Hersek, Artem Dementyev, Mengzhen Pan, Ishan Chatterjee, Anurag Kumar, Ramani Duraiswami, Dinesh Manocha, Andrea Colaco·· 2026-10-06AI 评分25

SEA-LM:面向可穿戴麦克风阵列的第一人称空间音频理解模型

SEA-LM: Egocentric Spatial Audio Understanding for Wearable Microphone Arrays

AI 导读

SEA-LM 模型通过 FOACODER 编码器理解 First Order Ambisonics 空间音频,在 1,211 种 4 至 9 麦克风智能眼镜阵列配置中,均实现比基线更低的方位角与仰角 MAE 及多数转录任务的 WER。 该模型经两阶段课程训练,涵盖 6 项任务,采用时空加权交叉熵损失平衡转录与方向预测目标。

来源:arXiv · AI · arxiv.org