arXiv · ML· J\k{e}drzej Maczan·· 6 小时前AI 评分28
WebGPU 在 LLM 推理中的调度开销：跨四家 GPU 厂商、三种后端及三种浏览器的系统研究
Characterizing WebGPU Dispatch Overhead for LLM Inference Across Four GPU Vendors, Three Backends, and Three Browsers
AI 导读
该研究系统分析了 WebGPU 在 LLM 推理中（batch size 1）的调度开销，指出传统基准测试高估了单次操作成本约 20 倍。 在 Vulkan 上内核融合可提升 53% 吞吐量，而 CUDA 融合无益；在 Metal 上不同实现间的性能差距达 2.2 倍。该研究证实了当前调度密集型流水线中，操作开销主导了性能表现，而非内核质量。
来源：arXiv · ML · arxiv.org