arXiv · ML· Emilio Gonz\'alez-Zamora, Pierre Tandeo, Laurent Debreu, Said Ouala·· 16 小时前AI 评分26
混合模型内存与计算高效的在线学习近似伴随方法
Approximate Adjoint Models for Memory and Compute-Efficient Online Learning of Hybrid Models
AI 导读
提出近似伴随梯度方法,保留全轨迹伴随递归,仅近似局部拉回算子,在三个系统测试中峰值内存降十倍、运行时间缩短四倍。 方法在稀疏锚点计算精确拉回,中间用恒等或冻结拉回传播敏感性,支持混合模型在线学习。 结果显示近似梯度可维持可比训练精度,证明有效在线学习无需精确梯度。
来源:arXiv · ML · arxiv.org