跳到正文
arXiv · NLP· Ankit Khedia, Astitva Jaiswal, Chaitanya Prasad, Anisha Raju, Aangeeras·· 21 天前AI 评分26

视频字幕评估:人类修正揭示参考重叠指标的局限性

Similar Scores, Opposite Failures: Human Correction as an Instrument for Video Caption Evaluation

AI 导读

研究测试参考重叠指标能否恢复密集视频描述的人类判断,结果证实这些指标未能做到。 六款前沿模型生成的字幕在BLEU-4达到0.510 AUC时仍不可区分优劣。 审稿人对完整片段的接受率(54.1-72.7%)远高于窗口级别,揭示模型评估应记录错误类型。

来源:arXiv · NLP · arxiv.org