跳到正文
美团技术团队·· 2026-10-15AI 评分40

美团 SLM 推理引擎:低延迟下有效吞吐优化

SLM 生成式高并发推理引擎:延迟约束下的有效吞吐优化

AI 导读

美团技术团队发布专为小参数量语言模型(SLM)设计的生成式高并发推理引擎,通过静态 DAG 架构与 AOTInductor 编译,在平均端到端时延低于 20ms 的约束下,实现 Prefill-only 有效 MFU 达 67%。

来源:美团技术团队 · tech.meituan.com