跳到正文
arXiv · NLP· Jinchuan Tian, Sen Chen, Wenbin Huang, Chao Weng, Zhengwei Huang, Jiatong Shi, Yichen Lu, Haoran Wang, Shinji Watanabe, Cong Zhou·· 10 天前AI 评分42

LongCap: 基于分块处理的长时程时间戳音频字幕生成框架

LongCap: Hour-Scale Timestamped Audio Captioning via Chunk-wise Processing

AI 导读

提出音频字幕框架 LongCap 及评测基准 LongCapBench,支持在 1M token 推理上下文窗口内对长达 16 小时的音频进行时间戳生成。 框架采用交错音频块与结构化事件字幕的方法,引入 TER、GER 和 tcpCapSim 三项指标,在 9B 至 122B 参数规模的模型上验证了尺寸与性能的权衡。

来源:arXiv · NLP · arxiv.org