arXiv · NLP· Aneesh Komanduri, Majid Afshar, Timothy A. Miller, Yanjun Gao·· 8 小时前AI 评分39
通过因果鲁棒性衡量大语言模型中的机制性不确定性
Measuring Mechanistic Uncertainty in Large Language Models via Causal Robustness
AI 导读
研究提出“机制性不确定性”概念，定义“因果鲁棒性裕度”为改变模型输出所需的最小内部干预，并通过 Jacobian Lens 概念引导向量进行量化。 在三个开源模型和五个问答数据集上，错误与不确定响应表现出更小的裕度；知识注入实验显示，正确学习的事实训练后裕度增加，证明该指标可作为基于机制的不确定性信号。
来源：arXiv · NLP · arxiv.org