arXiv · AI· Vaibhava Lakshmi Ravideshik, Mayank Kejriwal·· 2026-10-08AI 评分33
LLM 在实体对齐评估中的可靠性研究
Reliability of LLM Judges for Evaluating Entity Alignment
AI 导读
研究首次系统评测 LLM 作为实体对齐(EA)裁判的可靠性,揭示标签暴露导致判别能力崩塌的锚定偏差。 J-ROC-AUC 从 0.12-0.87 跃升至 0.93-1.00,强模型对标签更敏感;发布 MeSH-SNOMED CT 基准(15K 对)及审计框架。 为知识图谱集成提供可扩展的评估方案,代码与数据已公开。
来源:arXiv · AI · arxiv.org