arXiv · AI· Keisuke Kamahori, Shihang Li, Simon Peter, Baris Kasikci·· 2026-10-14AI 评分38
VibeServe:AI Agent 能否构建定制化 LLM 服务系统?
VibeServe: Can AI Agents Build Bespoke LLM Serving Systems?
AI 导读
论文提出 VibeServe,这是首个端到端生成完整 LLM 服务系统的 agentic loop。该系统由规划和实现/评估内外双循环组成。在 Llama-3.1-8B 上,VibeServe 性能匹配 vLLM 和 SGLang;在 4 块 AMD MI300A 上运行 397B MoE 模型时,吞吐量达经过调优的 SGLang 的 2.3 倍。
来源:arXiv · AI · arxiv.org