arXiv · AI· Tianxing Wu, Juuso Korhonen, Jesus Carabano Bravo·· 11 天前AI 评分28
Fused-Softmax 实现高效量化注意力机制
Fused-Softmax for efficient quantized attention
AI 导读
Fused-Softmax 是一种免训练算法,通过在 AMD Instinct MI355X GPU 上实施,将 MXFP8、MXFP6 和 MXFP4 内核的性能分别提升至约 3.0、4.0 和 4.6 PFLOP/s。
来源:arXiv · AI · arxiv.org