arXiv · NLP· Jiahong Qian·· 2026-10-15AI 评分21
从不可用到可用:LLM 实体提取中的失效模式分解与置信度信号证据(基于网络威胁情报)
From Unreliable to Usable: Decomposing Failure Modes and Confidence Signals in LLM Entity Extraction - Evidence from Cyber Threat Intelligence
AI 导读
研究表明 LLM 实体提取的不可靠性并非主要源于幻觉,而是背景提及和范围遗漏,置信度分层有助于设定审查优先级但无法确认真实性。 测试显示微精度仅 0.03-0.34,65.6% 为无关提及;单一误归因句可翻转 95.6% 的高置信判断。 置信度信号可用于排序优先级,但不能替代人工验证。
来源:arXiv · NLP · arxiv.org