Latent Space·· 2 小时前精选AI 评分87
DeepSeek 开源 DeepInfer 推理栈：单集群 155T tokens/日，作者测算 80% 推理毛利
[AINews] DeepSeek DeepInfer: Open Source SOTA Inference running 155T toks/day/cluster making $22m/day at ~80% margin for a 81 day payback
AI 导读
DeepSeek 在 PyTorch Conf 期间开源 DeepInfer，这是 V4.1 Flash 背后支持 155T tokens/日吞吐、96% input-cache 命中的生产推理栈，采用 vLLM 基线并叠加 SGLang/TRT-LLM 优化，保留 KV cache 管理和 PD 分离未随仓库释放。
推荐理由
作者将 DeepSeek DeepInfer 官方披露的单集群 155T tokens/日、96% cache 命中与 $38/card-hour 营收做了成本反推，读者可据 81 天回收期的推理口径判断开源栈的实际经济边界。
来源：Latent Space · latent.space