跳到正文
arXiv · AI· Srinidhi N, Sunanda Somwase, Hemant Kumar Chandrakant Chandavar, Eashan Dash, Varun Agrawal, Prakash Raghavendra·· 24 天前AI 评分28

Waypoint:一种用于 CPU 的 GEMM 解析建模方法

Waypoint: Analytically Modeling GEMM for CPUs

AI 导读

Waypoint 是一个解析模型,能自动识别给定硬件和矩阵形状下的最优 GEMM tile size。 该模型通过捕捉内存层级、指令级并行和多线程等架构效应来估算性能。 基于 Waypoint 构建的 GEMM 库 OPAM 在 CPU 上加速 LLM 推理,实现 1.36 - 1.98 倍提速。

来源:arXiv · AI · arxiv.org