Tap2Listen流式视听说话人提取模型发布

arXiv于2026年10月28日发布Tap2Listen模型，这是一款面向流式视听目标说话人提取（AV-TSE）的技术方案。该模型支持即时切换目标说话人，计算按模态分离：音频编码器处理混合信号，视觉线索仅作为解码器条件，切换过程仅需0.12ms重新投影。 性能测试显示，在标准LRS3-2mix测试集上，Tap2Listen在参数量相当的情况下，将SI-SNRi从8.85 dB提升至9.68 dB。该模型具备极高的部署灵活性，据作者称，它可以在单个CPU核心上实现实时运行。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。