arXiv · AI· Prabod Rathnayaka, Isura Manchanayake, Srikandabala Kogul, Steve Siu, Fabian Waschkowski, Lukas Wesemann·· 4 天前精选AI 评分66
Superfluid:面向分布式 LLM 推理的本地 AI 服务器
Superfluid: Local AI Server for Distributed LLM Inference
AI 导读
Superfluid 是开源 LLM 服务器,用于本地设备上的 LLM 推理,支持单设备多智能体共享模型及跨设备集群服务。
推荐理由
原文给出了具体硬件下的延迟改善和吞吐数据,读者可据此评估分布式本地推理在实际混合算力场景中的可行性。
来源:arXiv · AI · arxiv.org