arXiv · AI· Nima Seifi, Martin Ester·· 4 小时前AI 评分26
学习读出令牌（ScratchProbe）提升大语言模型置信度预测
Learned Readout Tokens for Extracting Large Language Model Confidence
AI 导读
该研究提出一种名为 ScratchProbe 的新方法，通过训练学习新的读出令牌（readout token）来提取大语言模型的置信度。 与基于词库中现有令牌的探针不同，ScratchProbe 利用新学习令牌的隐藏状态进行训练，在多种数据集和 LLM 上性能优于现有方法。 该方法仅需改变探针读取位置，可直接应用于现有探针；在多种骨干模型及跨域测试中均提升了 AUROC 指标。
来源：arXiv · AI · arxiv.org