arXiv · AI· Dipto Sumit, Syeda Fabiayee Jahan, Farig Sadeque·· 17 天前AI 评分30
Qwen3 递归自训练如何改变模型置信度
Temperature, Not Knowledge: What Recursive Self-Training and Its Remedies Do to a Language Model's Confidence
AI 导读
递归自训练导致 Qwen3 模型置信度变尖锐且可靠性下降,准确率与判别力基本不变。在 1.7B 和 8B 模型上,匹配预测熵的校准方法效果接近标签温度拟合。移除截断和双重拟合可保持熵稳定,结合排序损失与无标签校准能同时提升性能。
来源:arXiv · AI · arxiv.org