跳到正文
Hacker News AI· pretext·· 5 小时前AI 评分61

Nvidia 协同设计五大策略:最大化 AI 工厂每个字节的价值

Five Ways Nvidia Co-Design Maximizes the Value of Every Byte in the AI Factory

AI 导读

Nvidia 阐述其 AI 工厂的五大协同设计策略,通过 NVFP4 降低位宽、NVLink 扩展显存池、Dynamo 优化 KV Cache、Vera CPU 管理闲置上下文以及 CMX 共享存储,显著提升了单位内存的推理效率。在 160 tokens/s 每用户的智能体负载下,Vera Rubin NVL72 相比 GB300 NVL72 可将单位兆瓦吞吐量提升高达 30 倍。

来源:Hacker News AI · developer.nvidia.com