跳到正文
arXiv · NLP· Ming-Hao Hsu, Shujie Liu, Yuxuan Hu, Yuxiang Wang, Yingda Shen, Jinyu Li, Zhizheng Wu·· 5 小时前AI 评分35

ReListen:基于冻结音频语言模型的免训练小时级音频证据定位

ReListen: Training-Free Evidence Localization in Hour-Long Audio with Frozen Audio Language Models

AI 导读

提出免训练方法 ReListen,利用冻结音频语言模型通过 Jev 风格扫描定位小时级音频中的关键证据。 模型对 20 秒窗口进行评分,选出最高分的一分钟作为证据,在 VoiceGiraffe 数据集上 88.5% 的问题定位优于转录检索,准确率比全转录高 9.2 分。 该方法推理速度优于所有基于转录的系统,且显存占用恒定,无需额外训练即可处理超长音频。

来源:arXiv · NLP · arxiv.org