跳到正文
arXiv · NLP· Husein Zolkepli·· 5 小时前精选AI 评分65

论文提出合成正样本微调法,将 Whisper 静默幻觉率从 61.9% 降至 2.4%

How to Reduce Whisper Hallucination

AI 导读

arXiv 论文针对 Whisper 在纯静默音频中产生 61.9% 幻觉词的问题,提出使用语音合成系统生成 6,267 条正样本进行微调。实验显示该方法将静默音频幻觉率降至 2.4%,真实无语音音频出词率从 99.9% 降至 47.8%,同时短语恢复率从 69.8% 提升至 82.7%,在保持英语准确率的所有测试对中均有效。

推荐理由

作者实测指出 Whisper 静默幻觉率高达 61.9%,并提出使用合成正样本微调法,将幻觉率降至 2.4% 且未牺牲转写准确率。

来源:arXiv · NLP · arxiv.org