arXiv · ML· Alex Reinking·· 4 天前AI 评分23
Halide 生成量化张量内核,加速边缘端 LLM 推理
User-Schedulable Approximations for Quantized Tensor Programs
AI 导读
研究人员扩展 Halide 语言,将算法与值表示分离,为量化张量生成 347 个内核。 这些内核覆盖 38 个 GGML 缺失的权重激活对,代码量比 GGML 和 KleidiAI 少 3.7 倍。 在 Apple M3 Max 上,内核速度达到 GGML 专用内核的至少 95%。
来源:arXiv · ML · arxiv.org