跳到正文
arXiv · AI· Owen Cook, Xingyi Song·· 17 小时前AI 评分38

LLMs 已是具备置信度感知的零样本分类器

LLMs Are Already Confidence-Aware Zero-Shot Classifiers

AI 导读

11 个开源 LLM 在 5 个数据集上验证了置信度评估能力,基于 logit 的方法 AUROC 达 0.74-0.77,优于黑盒方法的 0.57-0.66。 决策仅评分(decision-only scoring)在最大标签集上将解码步骤减少 88-96%。最佳配置 Gemma 4 31B 和 Qwen 3.5 9B 的性能可媲美商业模型 Jev 1.13.0。

来源:arXiv · AI · arxiv.org