Hacker News AI· anneouyang·· 1 天前精选AI 评分78
Standard Kernel 优化使 Intel Gaudi2 推理性能超越 NVIDIA H100
Standard Kernel Used AI to Make Intel's Abandoned Gaudi2 Outperform Nvidia H100
AI 导读
Standard Kernel 通过软件优化在 Qwen3.5-27B 模型长文本推理基准上,使 Intel Gaudi2 的解码吞吐量比 NVIDIA H100 提高 60%,预填充吞吐量提高 8%。在每 $0.60 的租用成本下,优化后的 Gaudi2 展现出 9.4 倍的每美元 token 产出效率。
推荐理由
文章展示了通过软件优化让Intel Gaudi2推理性能超越NVIDIA H100的具体案例,揭示了优化推理栈对硬件性价比的巨大影响。
来源:Hacker News AI · standardkernel.com