Hacker News：LLM 置信度评分弊病及替代方案探讨

在 Hacker News 的一篇讨论中，有作者提出使用 LLM 进行置信度评分不可靠，认为其输出本质为文本生成而非基于信息的严谨计算，无法生成可靠的置信度分数。作者主张不依赖 LLM 自我评分，而是通过记录实际结果并构建外部校准规则来评估可靠性，例如参考过往正确率和搜索匹配率。该观点旨在解决客服机器人等场景下的评估难题，建议采用客观指标而非主观生成结果来衡量系统表现。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。