Hacker News LLM· sanchitmonga22·· 2 天前AI 评分69
开源 LLM 推理引擎 TrnRT 支持 AWS Trainium
Show HN: TrnRT – An open-source LLM inference engine for AWS Trainium
AI 导读
TrnRT 发布为支持 AWS Trainium 的开源 LLM 推理引擎,提供 OpenAI 兼容 API 并实现 NKI 巨内核加速。该引擎在单台 trn2.48xlarge 实例上运行 GLM-5.3-Flash 模型,支持 1M token 上下文及前缀缓存,实测在 Spot 实例下每百万 token 成本可低至 $0.040。
来源:Hacker News LLM · github.com