arXiv · NLP· Keqi Deng, Ruchao Fan, Jinyu Li·· 9 小时前AI 评分26
LazyFlash: 前向密集、后向稀疏注意力实现长上下文微调加速
LazyFlash: Forward-Dense, Backward-Sparse Attention for Accelerated Long-Context Fine-Tuning
AI 导读
LazyFlash 通过前向密集、后向稀疏的注意力机制，在长上下文微调中实现高达 5.7x 注意力后向和 1.7x 端到端训练加速。 该方法在后向传播中根据梯度范数对 query 块进行排序并跳过贡献微小的块，同时在 FlashAttention 内核中实现被跳过块的不加载与不计算。 训练后的模型保持为标准密集模型，无需修改即可由 vLLM 等现有系统提供服务。
来源：arXiv · NLP · arxiv.org