跳到正文
arXiv · NLP· Debarpan Bhattacharya, Malay Phadke, Sriram Ganapathy·· 11 天前AI 评分20

BiG-SURE:基于二部图的 LLM 语义不确定性评估方法

BiG-SURE - Bipartite Graph for Semantic Uncertainty and Reliability Estimation of LLMs

AI 导读

BiG-SURE 提出一种基于跨温度语义一致性评估 LLM 不确定性的方法,通过构建锚点-探针二部图计算置信度。 该方法利用 NLI 蕴含分数构建图结构,以归一化平方谱能量定义置信度,并在文本、多语言及多模态 QA 任务中提升了黑盒不确定性估计的平均弃权 AUROC。 该方法保持无监督且适用于黑盒模型设置,为安全关键场景部署提供了更可靠的可靠性估计方案。

来源:arXiv · NLP · arxiv.org