策略蒸馏的参数更新稀疏性与几何特征研究

研究揭示在线策略蒸馏（OPD）的参数更新具有坐标稀疏性，且分布在多个层和模块中。在矩阵层面，更新数值满秩但谱集中，偏好低幅值的源坐标，而源奇异值谱变化微小。 对发现子网络进行掩码训练，几乎能恢复全量训练的性能表现。 这些发现表明，尽管使用密集教师监督，OPD 在权重空间仍保留了在线策略后训练的显著特征。