局部代理实现 Transformer 内存高效训练

研究提出局部代理网络通过蒸馏预测全局输出，在 Transformer 训练中规避反向传播的激活存储瓶颈。 理论上该方法在深度线性网络中精确，非线性残差模型中可界定梯度误差；在 CIFAR-100 上展示了优于其他局部算法的精度/内存权衡。 该方法在低内存预算下微调大语言模型时，训练速度更快且性能高于零阶学习算法。