Go vs. Python for an LLM Gateway: What We Measured

KTMS（Go 语言）在 LLM 网关基准测试中全面优于 LiteLLM（Python）。 KTMS 空闲内存 7 MiB，p99 延迟 0.6 ms；LiteLLM 内存 2.5 GiB，首 token 延迟 160 ms。 KTMS 启动耗时 170 ms，LiteLLM 需 32 s；资源占用决定核心数需求。