跳到正文
IT之家·· 8 小时前同新闻AI 评分91

DeepSeek 将内部推理框架 DeepInfer 及编解码组件全面开源

DeepSeek 宣布将内部推理框架 DeepInfer 全面开源,目标实现大模型普惠

AI 导读

DeepSeek 宣布全面开源内部推理框架 DeepInfer 及生产级编解码组件 deepseek-recipe。DeepInfer 集成高性能算子与推理引擎,支持分布式推理、推测解码等能力,兼容英伟达与华为昇腾平台,已用于实现 DeepSeek V4.1 Flash 的高吞吐低延迟推理服务。

同一新闻,精选展示《DeepSeek 开源内部推理框架 DeepInfer 及编解码组件》

来源:IT之家 · ithome.com