跳到正文
arXiv · AI· Khouloud Saadi, Di Wang·· 8 小时前AI 评分20

有效性校准推理蒸馏:基于局部信号分配提升小模型推理能力

Validity-Calibrated Reasoning Distillation

AI 导读

提出有效性校准推理蒸馏框架,将蒸馏从轨迹模仿转化为局部学习信号分配,在数学、代码等基准测试中超越强基线。 通过比较师生模型在同一前缀下的下一步动作局部有效性,动态调节蒸馏更新强度,保留教师结构引导并适应局部推理质量。

来源:arXiv · AI · arxiv.org