跳到正文
arXiv · AI· Seungho Song, Donggyu Lee, Jaehan Kim, Jiyoung Choi, Jinwoo Kim·· 16 小时前AI 评分25

基于 HalluVision 框架的大语言模型网络威胁情报幻觉测量研究

Measuring Hallucination in Large Language Models for Cyber Threat Intelligence: An Exploratory Study

AI 导读

该研究提出可复现框架 HalluVision,基于 4940 篇网络安全文章测量 LLM 幻觉,结果被《Computers and Electrical Engineering》录用。 框架通过微调命名实体识别模型提取实体,采用多种相似度指标评估事实一致性,并用 100 个人工标注样本进行验证。 发现语义相似度与人类判断一致,而基于实体的指标一致性有限,不同模型差异集中在问答任务上。

来源:arXiv · AI · arxiv.org