IsoNet 实现人脸引导紧凑麦克风阵列语音分离

IsoNet 团队提出了一种基于人脸引导的语音提取系统，名为“select-to-listen”。用户只需在摄像头画面中选中特定人脸，系统即可利用 4 个麦克风构成的 9.4 厘米孔径阵列，精准提取该说话人的语音。 该系统在困难测试集上实现了 9.31 dB 的 SI-SDR，较混合背景提升 4.85 dB。模型采用 U-Net 掩码估计器，并结合辅助声源到达监督，在 -1 至 10 dB 信噪比区间表现最优，其中 4.9M 参数变体推理速度比实时快 26 倍。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。