跳到正文
arXiv · AI· Rounak Sen, Divya Kumari, Deeksha Varshney·· 16 天前AI 评分37

LLM 幻觉检测自动标注真值标签可靠性评估

When Ground Truth Is Not Ground Truth: Automatic Labeling for Hallucination Detection

AI 导读

研究指出依赖 BLEURT 等指标自动标注 LLM 幻觉检测真值不可靠,检测器性能随监督评判模型选择显著波动。 人类验证显示 QGen-9B 误分类率最低(12.86%),而 BLEURT 与 BLEURT-n 的误分类率分别高达 47.23% 和 47.32%。 结果凸显自动相似度标注局限,亟需开发更能捕捉语义与事实正确性的可靠评判方法。

来源:arXiv · AI · arxiv.org