arXiv · AI· Rounak Sen, Divya Kumari, Deeksha Varshney·· 16 天前AI 评分37
LLM 幻觉检测自动标注真值标签可靠性评估
When Ground Truth Is Not Ground Truth: Automatic Labeling for Hallucination Detection
AI 导读
研究指出依赖 BLEURT 等指标自动标注 LLM 幻觉检测真值不可靠,检测器性能随监督评判模型选择显著波动。 人类验证显示 QGen-9B 误分类率最低(12.86%),而 BLEURT 与 BLEURT-n 的误分类率分别高达 47.23% 和 47.32%。 结果凸显自动相似度标注局限,亟需开发更能捕捉语义与事实正确性的可靠评判方法。
来源:arXiv · AI · arxiv.org