跳到正文
arXiv · NLP· Alexander Polok, Dominik Klement, Ivan Medennikov, Antoine Laurent, Petr P\'alka, Samuele Cornell, Shinji Watanabe, Sanjeev Khudanpur, Jagadeesh Balam, Jan \v{C}ernock\'y, Luk\'a\v{s} Burget, Matthew Wiesner·· 10 天前AI 评分42

Pandemonium: 基于说话人交互的长文本目标说话人语音识别

Pandemonium: Longform Target-Speaker Speech Recognition with Cross-Speaker Interactions

AI 导读

针对 DiCoW 孤立解码及短窗口限制,研究提出 DiCoP 与 Pandemonium,引入跨说话人注意力机制解决长文本转写难题。 DiCoP 整合了 DiCoW 条件化与长文本 Parakeet 骨干网络,新增 STNO 掩码优化器以重新估算声纹信息。 团队从 YODAS2 挖掘 5.4 千小时野外多说话人数据构建伪标签,在会议评测基准取得 SOTA 效果并开源模型。

来源:arXiv · NLP · arxiv.org