跳到正文
arXiv · ML· Xiaoyu Liang, Virginia Ceccatelli, Aliai Eusebi, Tobias Braun, Nils Loose, Carlo Malagnino, Lorenzo Cavallaro·· 7 天前AI 评分29

LLM 不确定性量化机制:观察点与四种透镜

Where Is Uncertainty Observed? A Mechanistic Understanding of Uncertainty Quantification in LLMs

AI 导读

该研究基于机制可解释性,定义 LLM 不确定性量化(UQ)的四种观察透镜:结构、表征、分布及语义,揭示观察点决定估计器信息访问与恢复能力。 研究通过残差流关联四种透镜并按信息量排序,为不同目标的 UQ 方法选择提供原则,同时区分评估目标、标准与指标以澄清协议。 该工作识别出连接不确定性估计与 LLM 内部计算及下游应用的开放问题和研究方向,旨在解决现有分类法中关于观察点的未决疑问。

来源:arXiv · ML · arxiv.org