跳到正文
arXiv · ML· Tek Raj Awasthi (Friedrich-Alexander-Universit\"at Erlangen-N\"urnberg), Babita Awasthi·· 7 天前AI 评分32

metalSPARSE:Apple Silicon GPU 上的 2:4 半结构化稀疏 GEMV 内核

metalSPARSE: A 2:4 Semi-Structured Sparse GEMV Kernel for Apple Silicon GPUs

AI 导读

metalSPARSE 是 Apple GPU 上首个 2:4 半结构化稀疏 GEMV 内核,采用 Metal 编写融合解码器。在 Qwen2.5-1.5B 模型上,8 GB M2 设备解码速度比 PyTorch-MPS 快 3.6 倍,16 GB M4 设备比 MLX 快 1.52 倍。

来源:arXiv · ML · arxiv.org