arXiv · AI· Khouloud Saadi, Di Wang·· 8 小时前AI 评分20
有效性校准推理蒸馏:基于局部信号分配提升小模型推理能力
Validity-Calibrated Reasoning Distillation
AI 导读
提出有效性校准推理蒸馏框架,将蒸馏从轨迹模仿转化为局部学习信号分配,在数学、代码等基准测试中超越强基线。 通过比较师生模型在同一前缀下的下一步动作局部有效性,动态调节蒸馏更新强度,保留教师结构引导并适应局部推理质量。
来源:arXiv · AI · arxiv.org