跳到正文
arXiv · NLP· David Porte\v{s}, Ale\v{s} Hor\'ak·· 2026-10-09AI 评分23

Prosody-to-Text: 通过低通滤波语音预测文本

Prosody-to-Text: Predicting text from low-pass filtered speech

AI 导读

研究利用低通滤波语音预测文本,微调 Whisper 模型仅使用 12 个最低 Mel bins(约 450Hz 截止频率)。 整体 WER 达 36%,10% 语句完美恢复,40% 语句 WER 低于 25%;给定正确前缀时,下一个 token 预测准确率为 79%。 结果表明低频语音特征与词汇内容关联强于预期,可为 LLM 文本生成提供新应用方向。

来源:arXiv · NLP · arxiv.org