跳到正文
arXiv · AI· Dipto Sumit, Syeda Fabiayee Jahan, Farig Sadeque·· 17 天前AI 评分30

Qwen3 递归自训练如何改变模型置信度

Temperature, Not Knowledge: What Recursive Self-Training and Its Remedies Do to a Language Model's Confidence

AI 导读

递归自训练导致 Qwen3 模型置信度变尖锐且可靠性下降,准确率与判别力基本不变。在 1.7B 和 8B 模型上,匹配预测熵的校准方法效果接近标签温度拟合。移除截断和双重拟合可保持熵稳定,结合排序损失与无标签校准能同时提升性能。

来源:arXiv · AI · arxiv.org