arXiv · ML· F{\i}rat \"Oncel, Cem Subakan, Mirco Ravanelli, \c{C}a\u{g}atay Y{\i}ld{\i}z·· 2 天前AI 评分35
核化注意力基准测试与蒸馏:大规模下的现实检验
The Kernel Reality Check: Benchmarking and Distilling Efficient Attention at Scale
AI 导读
研究发现 FlashAttention 在训练和视觉 Transformer 中的内存消耗和运行时间优于最先进的核化方法,推翻了核化注意力可直接替代 softmax 的假设。 统一蒸馏协议下,当前核化方法较 softmax 存在 2-10 分差距,仅扩大模型规模无法消除;LARA++ 通过重要性采样可恢复 99% 精度,但计算开销依然巨大。
来源:arXiv · ML · arxiv.org