跳到正文
Hacker News LLM· sanchitmonga22·· 2 天前AI 评分69

开源 LLM 推理引擎 TrnRT 支持 AWS Trainium

Show HN: TrnRT – An open-source LLM inference engine for AWS Trainium

AI 导读

TrnRT 发布为支持 AWS Trainium 的开源 LLM 推理引擎,提供 OpenAI 兼容 API 并实现 NKI 巨内核加速。该引擎在单台 trn2.48xlarge 实例上运行 GLM-5.3-Flash 模型,支持 1M token 上下文及前缀缓存,实测在 Spot 实例下每百万 token 成本可低至 $0.040。

来源:Hacker News LLM · github.com