arXiv · ML· Taeyeong Kim, Jaemin Jung, Ahhyun Kim, Unggi Lee·· 5 小时前AI 评分32
蒸馏学生模型在何处存储思维？
Where Do Distilled Students Store Thinking?
AI 导读
研究通过比较三组师生模型在缩短长解答时的 LoRA 适配器，发现思维行为关联于特定的更新子空间。 当教师停止思考时，该共享子空间能量降低甚至清空；移除它会显著关闭反思标记等思维特征，验证了其在权重中的定位。
来源：arXiv · ML · arxiv.org