arXiv · ML· Anthony Givans, Michael Crawshaw, Mingrui Liu·· 7 小时前AI 评分38
FlashBoB: 面向 Softmax 注意力的高效 I/O 精确 Backward-over-Backward 算法
FlashBoB: I/O-Efficient Exact Backward-over-Backward for Softmax Attention
AI 导读
FlashBoB 提出一种精确且 I/O 高效的 Softmax 注意力 Backward-over-Backward（BoB）算法，能在单张 A100 80GB GPU 上将序列长度扩展至 262K，且比 FlashBack 快最高 6.3 倍。
来源：arXiv · ML · arxiv.org