发布英语-俄语机器翻译评估数据集与RATE协议

针对现有MQM和ESA评估方法在人类水平机器翻译系统中暴露出的粒度粗糙及准确性偏见问题，研究团队提出了新的评估范式。该方案旨在提升机器翻译评估的精度与相关性，以适应当前高质量翻译系统带来的挑战。 研究团队由Dmitry Popov等人组成，正式发布了RATE评估协议及配套的高质量英语-俄语翻译专家数据集。该数据集基于WMT24（2024年国际机器翻译评测）的翻译结果，包含大量针对英语-俄语翻译的人工评估数据，为评估模型的准确性和一致性提供了标准化基准。 通过引入RATE协议，研究人员试图解决传统评估指标无法准确区分人类水平系统优劣的难题。这一新协议结合专家数据集，为后续机器翻译研究提供了更精细的评估工具，有助于推动评估方法向更贴近人类判断标准的方向发展。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。