arXiv · ML· Quentin Anthony, Ganesh Bikshandi, Praneeth Medepalli, Stephen Ebert·· 23 小时前AI 评分32
ZYFA：AMD CDNA4 架构下 FP8 FlashAttention 的速度与精度优化
ZYFA: Speed and Accuracy of FP8 FlashAttention on AMD CDNA4
AI 导读
ZYFA 专为 AMD Instinct MI355X 开发，在 32K 上下文长度下，FP8 吞吐量达到 AITER 内核的 1.16-1.76 倍。 采用直接计算概率、乒乓调度及缩放取整技术，解决了 FP8 无法加速 softmax 及指令重叠难题。
来源：arXiv · ML · arxiv.org