IT之家·· 2 小时前AI 评分62
华为昇腾宣布支持Kimi K3.1 Pro推理部署
华为宣布昇腾 0 Day 支持 Kimi K3.1 Pro 推理部署,2.8 万亿级 MoE 模型能力再进阶
AI 导读
华为昇腾基于vLLM Ascend和SGLang框架,同步实现了Kimi K3.1 Pro模型的首日推理部署,支持Atlas 800 A3等系列产品。Kimi K3.1 Pro是2.8万亿参数的混合线性注意力模型,原生支持视觉理解,昇腾团队针对其新增的稀疏注意力路径完成了算子开发与多模态推理适配。
来源:IT之家 · ithome.com