Hacker News LLM· Rogansempai·· 3 小时前精选AI 评分79
rigtune 发布:自动测量并选择最优 LLM 服务配置的开源工具
I built a tool that finds the fastest way to serve an LLM on your GPU
AI 导读
rigtune 是一款自动测量并选择最优 LLM 服务配置的开源工具,能在 Qwen3.5-9B 上实现 1.8 倍于 vLLM 和 SGLang 默认配置的速度。该工具通过测试引擎、权重量化、KV 缓存类型和推测解码等参数,生成 OpenAI 兼容 API,其结果在 GSM8K 基准测试中保持了准确性。
推荐理由
原文展示了rigtune通过实测引擎和精度策略,在特定硬件上超越vLLM和SGLang默认配置的性能数据。
来源:Hacker News LLM · github.com