跳到正文
arXiv · ML· Junning Zhu·· 10 天前AI 评分36

Ostinato 实现 CPU-GPU 混合推理,加速本地 Agent 运行

Ostinato: Fast CPU-GPU MoE Inference for Local Agents via Resident Experts in Every Forward Pass

AI 导读

Ostinato 是一种新的 CPU-GPU 混合专家(MoE)推理引擎,通过在每次前向传播中保留热专家在 GPU 上,同时解决了预填充(prefill)和解码(decode)无法兼顾速度的问题。 该引擎在 4 块 RTX 4090D GPU 上运行 DeepSeek-V4-Flash,相较于现有引擎,将工具输出后的中位等待时间减少了 22%-55%,会话完成速度快 1.4-2.5 倍。

来源:arXiv · ML · arxiv.org