arXiv · NLP· Thomas F Burns·· 10 天前AI 评分25
分布不确定性评分:重新思考语言模型评估
When Guessing is Rewarded: Rethinking Language Model Evaluation with Distributional Uncertainty Scoring
AI 导读
论文提出基于分布不确定性评分的新评估指标,解决现有指标奖励过度自信猜测的问题。 该指标区分有害的过度自信与表达不确定的拒答行为,提供可解释的默认评分范围。理论分析及12个基准测试显示,六个语言模型在半数测试中得分为负,反映出显著的幻觉倾向。
来源:arXiv · NLP · arxiv.org