跳到正文
Hacker News AI· anneouyang·· 1 天前精选AI 评分78

Standard Kernel 优化使 Intel Gaudi2 推理性能超越 NVIDIA H100

Standard Kernel Used AI to Make Intel's Abandoned Gaudi2 Outperform Nvidia H100

AI 导读

Standard Kernel 通过软件优化在 Qwen3.5-27B 模型长文本推理基准上,使 Intel Gaudi2 的解码吞吐量比 NVIDIA H100 提高 60%,预填充吞吐量提高 8%。在每 $0.60 的租用成本下,优化后的 Gaudi2 展现出 9.4 倍的每美元 token 产出效率。

推荐理由

文章展示了通过软件优化让Intel Gaudi2推理性能超越NVIDIA H100的具体案例,揭示了优化推理栈对硬件性价比的巨大影响。

来源:Hacker News AI · standardkernel.com