arXiv · ML· Kyrylo Yemets, Andrii Yaroshevych, Victor Muryn, Ostap Khomenko, Pavlo Kryven, Maksym Kmet, Maksym Shamrai, Mariya Hirna·· 4 小时前AI 评分25
苹果芯片 LLM 推理优化的适用性评估
Evaluating the Applicability of LLM Inference Optimizations on Apple Silicon
AI 导读
研究评估了 KV-cache 修剪、推测解码、内核移植和量化在苹果芯片上的表现，发现其收益高度依赖硬件与负载。 KV-cache 修剪在苹果平台上最高可达 1.75 倍吞吐，但推测解码在单请求解码下反而降低性能。该论文已被 NeurIPS 2026 设备端智能（ODI）和 SLM 代理系统（SLM-Agents）研讨会接收。
来源：arXiv · ML · arxiv.org