arXiv · NLP· Haoyi Qiu, Akshat Agarwal·· 7 天前AI 评分33
自蒸馏中特权信息未必带来特权指导:对推理模型审计的研究
Privileged Information Does Not Guarantee Privileged Guidance: Auditing On-Policy Self-Distillation for Reasoning Models
AI 导读
对 Qwen3 三个规模的自蒸馏审计发现,教师模型在拥有解题答案时虽能纠错,但生成的 token 目标并未可靠偏向正确轨迹。 学生模型从重复训练中获益,但难以在自由生成中可靠表达学到的修正,且仅含问题的教师常匹配或超越拥有答案的教师。 这表明增益主要追踪教师的思考模式而非解题答案本身,即“推理套利”,提示未来评估需隔离测量解题答案的贡献。
来源:arXiv · NLP · arxiv.org