跳到正文
Hacker News LLM· matt_d·· 8 天前AI 评分60

Hao AI Lab 推出可验证 LLM 基础设施 vstack 与 veriserve,修复 SGLang 和 vLLM 并发漏洞

Towards Verifiable LLM Infra

AI 导读

Hao AI Lab 发布 vstack 和 veriserve,构建可验证的 LLM 推理基础设施。该项目利用形式化验证工作流,在 SGLang 和 vLLM 的生产环境中发现了 3 类 RDMA 与缓存并发漏洞,并提交了 6 个上游修复 PR。

来源:Hacker News LLM · haoailab.com