研究发现语言模型在线策略蒸馏具泛化双重性质

针对在线策略蒸馏泛化研究不足，arXiv发布新研究揭示其双重性质。研究表明该过程主要迁移教师的推理行为而非特定答案，且训练难度对结果影响较小。 同系教师-学生配对在跨域转移上效果显著，而异系配对主要局限于训练分布内。此外，多教师混合策略会被观察到导致不同能力间出现摆动效应。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。