Seven Minute Feed·· 2 小时前同新闻AI 评分85
DeepSeek 开源 DeepInfer:V4.1-Flash 背后的推理引擎
DeepSeek open-sources DeepInfer, the inference engine behind V4.1-Flash
AI 导读
DeepSeek 发布开源推理框架 DeepInfer,该框架用于 V4.1-Flash 的推理服务并采用 Apache 2.0 协议。项目基于 vLLM 构建,内置 FlashMLA、DeepGEMM 和 DeepEP 等内核,支持 MoE 专家并行、draft-token 解码和确定性采样,并适配 Nvidia Blackwell 和华为芯片。
同一新闻,精选展示《DeepSeek 开源内部推理框架 DeepInfer 及编解码组件》
来源:Seven Minute Feed · github.com