跳到正文
IT之家·· 8 天前AI 评分54

百度天池 1024 卡超节点发布:可支撑 5 万亿参数模型训练,明年上市

AI 导读

百度天池 1024 卡超节点发布,明年推向市场,宣称可支撑 5 万亿参数大模型训练。该超节点卡间互联带宽提升 3 倍,训练性能提升 2.5 倍、推理性能提升 3 倍。搭配的 G3.5 KV Cache 显存加速柜让长上下文推理性能提升 2 倍,多轮对话缓存命中时 TTFT 降低 90%、吞吐提升 7 倍,且横向扩展能力可达万卡规模。

来源:IT之家 · ithome.com