跳到正文
arXiv · AI· Mohammed Nayeem Khan, Aliyas Ahmad Misri·· 7 天前AI 评分25

校准 Laya 的置信度:一个基于 130 行 NumPy 代码的实战配方

Recalibrating a Typed-Decision Model in an Afternoon: A Hands-On Recipe for Laya's Confidence Scores

AI 导读

针对 typed-decision 模型 Laya,一个 130 行 NumPy 的配方可显著改进其置信度校准效果。 在 1,065 个 LLM 标注的合成数据上,按桶交叉拟合的温度标度将 bucket-macro ECE 从 0.143 降至 0.073;12 选项桶过于自信(+0.22),3-5 选项桶过于保守(-0.05),分桶处理是主要收益来源。

来源:arXiv · AI · arxiv.org