Hacker News AI· ersinesen·· 9 天前精选AI 评分77
Epoch AI 发布推理性能指数:内存与通信主导的 AI 硬件对比
Beyond FLOP/s: comparing AI hardware for inference by memory and communication
AI 导读
Epoch AI 推出 Inference Performance Index(IPI),以 NVIDIA GB300 为基准(GB300e)量化不同芯片在智能体推理负载下的并发服务能力。
推荐理由
该研究指出单纯使用FLOP/s会严重低估推理性能,并推出IPI指数将内存与通信纳入考量,让读者能直观对比不同芯片在智能体负载下的真实服务容量。
来源:Hacker News AI · epoch.ai