arXiv · NLP· Jorma Valjakka, Juhani Kivim\"aki, Juha Myll\"ari, Jukka K. Nurminen·· 2026-10-07AI 评分42
LLM 幻觉检测基准中标注策略偏差:基于 900 个人工标注的实证评估
The Labeling Problem in Hallucination Detection Benchmarks: An Empirical Evaluation
AI 导读
LLM 幻觉检测自动标注器存在标准错位,即混淆参考忠实度与事实正确性,导致大量错误标注。研究通过 900 个人工标注样本发现,使用事实正确性提示词可显著提升自动标注与人工标注的一致率,并降低假阳性偏差。标签来源选择应作为基准设计的核心部分,需被明确定义并严格验证。
来源:arXiv · NLP · arxiv.org