arXiv · ML· J\k{e}drzej Maczan·· 24 天前AI 评分20
WebGPU LLM 推理性能瓶颈:Dispatch 开销而非内核质量
Dispatch Overhead, Not Kernel Quality: The Performance Bottleneck in Single-Stream WebGPU LLM Inference
AI 导读
研究发现单流 WebGPU 大语言模型推理中,单次操作 dispatch 开销而非内核计算主导推理成本。 测量表明 dispatch 成本与数据类型无关,受控融合实验证实在 batch size 1 时瓶颈源于 dispatch 次数。 结论指出优化路径在于减少 dispatch 次数,并推动引擎及 WebGPU 规范实现 dispatch 摊销。
来源:arXiv · ML · arxiv.org