跳到正文
arXiv · AI· Prabod Rathnayaka, Isura Manchanayake, Srikandabala Kogul, Steve Siu, Fabian Waschkowski, Lukas Wesemann·· 4 天前精选AI 评分66

Superfluid:面向分布式 LLM 推理的本地 AI 服务器

Superfluid: Local AI Server for Distributed LLM Inference

AI 导读

Superfluid 是开源 LLM 服务器,用于本地设备上的 LLM 推理,支持单设备多智能体共享模型及跨设备集群服务。

推荐理由

原文给出了具体硬件下的延迟改善和吞吐数据,读者可据此评估分布式本地推理在实际混合算力场景中的可行性。

来源:arXiv · AI · arxiv.org