Circuit Distillation 论文：基于内部电路机制的模型蒸馏方法

该研究提出电路蒸馏方法，通过对齐教师与学生模型中对应电路组件的内部表征，取代传统仅模仿输出的行为蒸馏。 在 Llama3 模型族的实体追踪与心智理论任务上，该方法优于标准蒸馏，仅调整学生模型少量特定参数即成功转移算法能力。 研究证实了通过可解释的内部机制转移模型内部计算机制的可行性，为高效蒸馏特定教师能力提供新路径。