Hacker News LLM· fourfire·· 2 天前AI 评分55
Evolving Infra 发布:面向 Agent 自适应的 LLM 大规模推理系统
Evolving Infra: Agent-Adaptive LLM Serving at Scale
AI 导读
Evolving Infra 发布,这是面向 Agent 自适应的 LLM 大规模推理系统。它支持在 GB300 GPU 集群上在线适配编码、数学和计算机使用 Agent 工作负载,无需离线性能分析。
来源:Hacker News LLM · github.com