arXiv · NLP· Yimeng Zhang, Yingying Zhuang, Ziyi Wang, Yuxuan Lu, Pei Chen, Aman Gupta, Zhe Su, Ming Tan, Zhilin Zhang, Qun Liu, Manikandarajan Ramanathan, Rajashekar Maragoud, Edward Vul, Jing Huang, Dakuo Wang·· 15 天前AI 评分27
SpanUQ: 面向大语言模型生成的跨粒度不确定性量化
SpanUQ: Span-Level Uncertainty Quantification for Large Language Model Generation
AI 导读
论文提出SpanUQ探针,通过蒸馏多次推理的不确定性知识,仅需单次前向传播即可在语义连贯的文本跨度(span)层级量化LLM生成不确定性。 该方法采用DETR式解码器与Beta混合分布,在20K提示词和293K标注跨度的SpanUQ-Bench基准上,F1分数达0.910,比最强启发式基线高39.4%,且比采样法快10~20倍。
来源:arXiv · NLP · arxiv.org