arXiv · NLP· Diptesh Kanojia, Archchana Sindhujan, Sourabh Deoghare, Daria Sokova, Shenbin Qian, Girish Koushik, Tharindu Ranasinghe, Constantin Or\u{a}san, Chrysoula Zerva, Ricardo Rei, Fr\'ed\'eric Blain, Andr\'e F. T. Martins, Marco Turchi, Matteo Negri, Anoop Kunchukuttan, Mitesh M. Khapra, Pushpak Bhattacharyya·· 3 天前AI 评分21
IndicQE-APE:面向印度语言质量估计与自动后期编辑的整合基准
IndicQE-APE: A Consolidated Benchmark for Quality Estimation and Automatic Post-Editing over Indic Languages
AI 导读
IndicQE-APE 基准整合了 WMT 2020-2024 任务资源,包含 9 个方向对的 126,754 个实例,涵盖 4 种标签类型。 该基准在段落级质量估计上评测了 6 个 LLM 和 3 个 COMET 指标,在自动后期编辑上评测了 3 个系统。 研究发现 4-shot 提示法会损害所有 3.4B 及以下规模模型的输出合规性与相关性。 ```
来源:arXiv · NLP · arxiv.org