Hacker News AI· pember·· 3 小时前AI 评分58
Liquid AI 发布低延迟推理引擎 RIPL
Liquid AI launches sub-20ms latency stack
AI 导读
Liquid AI 宣布推出低延迟推理引擎 RIPL,能够在持续峰值流量下实现端到端低于 50 毫秒的完整响应。测试显示 LFM2.5-1.2B 在 RIPL 上的 p95 延迟比 Qwen3.5-0.8B 在 vLLM 上低 14.4 至 28.4 倍。该引擎现已面向企业开放,支持 NVIDIA GPU 部署。
来源:Hacker News AI · liquid.ai