arXiv · AI· Hansol Park, Minkyung Song, Zinu Kim, Yujun Lee, Hoseong Ahn, Hyunjin Choi, Kyuhong Shim·· 5 小时前AI 评分38
Tap2Listen：面向流式视听说话人提取的即时目标切换模型
Tap2Listen: Instant Target Switching for Streaming Audio-Visual Speaker Extraction
AI 导读
Tap2Listen提出了一种流式视听目标说话人提取模型，支持即时切换目标说话人。 该模型将计算按模态分离，音频编码器处理混合信号，视觉线索仅作为解码器条件，切换仅需0.12ms重新投影。 在LRS3-2mix测试集上，SI-SNRi从8.85 dB提升至9.68 dB，且可在单CPU核心上实时运行。
来源：arXiv · AI · arxiv.org