arXiv · AI· Jinhao Pan, Bowen Wei, Yuqing Zhou, Ziwei Zhu·· 2026-10-15AI 评分22
可靠性-不确定性自蒸馏提升大语言模型推理能力
Learning from Self-Generated Responses: Reliability--Uncertainty Self-Distillation for Reasoning
AI 导读
提出可靠性-不确定性自蒸馏(RU-SD)方法,利用模型自身生成响应进行自我学习。在11项推理基准测试中,Qwen3-4B和Qwen3-8B准确率分别达70.47%和76.69%,超越所有基线。 该方法结合自评可靠性与预测不确定性加权蒸馏损失,数据与代码已公开。
来源:arXiv · AI · arxiv.org