LazyFlash提出前向稠密反向稀疏注意力加速长上下文微调

LazyFlash提出一种前向稠密、反向稀疏的注意力方法，用于加速长上下文微调。该方法基于注意力训练以反向传播为主的观察，在后向传播中根据梯度范数对query块排序，并跳过贡献微小的块。 其核心实现在FlashAttention内核中，对被跳过的块执行不加载与不计算操作，从而在保持前向计算完整性的同时显著降低反向计算开销。 报道指出，该方法可使注意力后向传播加速高达5.7倍，端到端训练加速1.7倍。训练得到的模型仍是标准密集模型，无需修改即可由vLLM等现有推理系统提供服务。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。