跳到正文
Hacker News AI· ersinesen·· 9 天前精选AI 评分77

Epoch AI 发布推理性能指数:内存与通信主导的 AI 硬件对比

Beyond FLOP/s: comparing AI hardware for inference by memory and communication

AI 导读

Epoch AI 推出 Inference Performance Index(IPI),以 NVIDIA GB300 为基准(GB300e)量化不同芯片在智能体推理负载下的并发服务能力。

推荐理由

该研究指出单纯使用FLOP/s会严重低估推理性能,并推出IPI指数将内存与通信纳入考量,让读者能直观对比不同芯片在智能体负载下的真实服务容量。

来源:Hacker News AI · epoch.ai