arXiv · NLP· Mesut Ceylan, Arda Baris Basaran, Elgar Fleisch, Filipe Barata·· 6 小时前AI 评分35
邻域精英：用于问答中不确定性量化的质量-多样性搜索
Neighborhood Elites: Quality-Diversity Search for Uncertainty Quantification in Question Answering
AI 导读
研究提出“邻域精英”构造器，通过质量-多样性搜索在编辑类型与支持显式性两个轴上生成保留答案的改写，以改进问答模型的不确定性量化。 在5个抽取式问答数据集和5个指令微调LLM上，该方法在25个数据集-模型对中的至少24个里提升了对失败检测的能力，最高AUROC达0.726，AUPRC较基准提升0.211。 NE在扩大邻域规模时，对失败检测的优势大于基于解码器样本的语义熵，AUROC提升0.074。
来源：arXiv · NLP · arxiv.org