跳到正文
热点事件持续更新

arXiv论文：局部代理网络助Transformer内存高效训练

1 篇报道1 个报道来源7 小时前更新

先了解这件事

AI 综述

2026年10月16日，Zihan Wu、Brian A. Yuan与Guillaume Bellec在arXiv（cs.lg）发布论文《Local proxies for memory-efficient training》。该研究提出一种局部代理网络，通过蒸馏方式预测全局输出，从而在Transformer训练中规避反向传播产生的激活存储瓶颈，实现内存高效训练。 理论层面，该方法在深度线性网络中可精确近似，而在非线性残差模型中能够界定梯度误差。实证结果显示，在CIFAR-100数据集上，此方法在精度与内存权衡上优于其他局部算法。 针对大语言模型微调场景，研究指出该方法在低内存预算条件下表现突出：训练速度更快，且性能优于零阶学习算法。

AI 根据报道生成 · 6 小时前更新

最新进展10月19日 12:00
局部代理实现 Transformer 内存高效训练

报道时间线

沿着报道，了解事件的不同侧面。

10月19日
  1. arXiv · ML
    局部代理实现 Transformer 内存高效训练

    研究提出局部代理网络通过蒸馏预测全局输出，在 Transformer 训练中规避反向传播的激活存储瓶颈。 理论上该方法在深度线性网络中精确，非线性残差模型中可界定梯度误差；在 CIFAR-100 上展示了优于其他局部算法的精度/内存权衡。 该方法在低内存预算下微调大语言模型时，训练速度更快且性能高于零阶学习算法。

本事件热度走势

可比范围当前
8
可比范围峰值
910月19日 14:00
近 24 小时变化
–

趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。