跳到正文
arXiv · NLP· Radhika Shah·· 3 天前AI 评分25

多语言证据下事实核查 LLM 的鲁棒性评估

Evaluating the Robustness of Fact-Checking LLMs on Multilingual Evidence

AI 导读

针对多语言事实核查场景,研究构建包含英语、德语等 190 条声明的数据集,测试模型在证据缺失或误导下的表现。 实验表明,误导性编辑使 Llama 3.1 8B 的英语准确率从 80.00% 跌至 16.84%,且低资源语言性能下降更显著;机器翻译可部分恢复差距,但裁判评分衰减慢于准确率,显示自动评估低估了性能退化。 研究警告不应在嘈杂多语言证据上部署 LLM 事实核查,并开源了数据集与评估代码。

来源:arXiv · NLP · arxiv.org