跳到正文
Seven Minute Feed·· 2 小时前同新闻AI 评分85

DeepSeek 开源 DeepInfer:V4.1-Flash 背后的推理引擎

DeepSeek open-sources DeepInfer, the inference engine behind V4.1-Flash

AI 导读

DeepSeek 发布开源推理框架 DeepInfer,该框架用于 V4.1-Flash 的推理服务并采用 Apache 2.0 协议。项目基于 vLLM 构建,内置 FlashMLA、DeepGEMM 和 DeepEP 等内核,支持 MoE 专家并行、draft-token 解码和确定性采样,并适配 Nvidia Blackwell 和华为芯片。

同一新闻,精选展示《DeepSeek 开源内部推理框架 DeepInfer 及编解码组件》

来源:Seven Minute Feed · github.com