Hacker News LLM· mirastacklabs·· 2 小时前AI 评分35
MIRASTACK 是否提出按 GPU 小时而非 token 计费 LLM 推理
Is "GPU-hour per user" a sane way to price LLM inference?
AI 导读
MIRASTACK 主张 LLM 推理应按 GPU 小时而非 token 计费，通过售卖固定时长的计算资源实现无限 token 使用。 公司提供针对个人、团队及企业的全托管或本地化 AI 工厂方案，使用自研网关并基于 GPU 集群运行开源模型。 旨在消除按量计费的成本不确定性，使企业无需为频繁调用模型限制开发节奏。
来源：Hacker News LLM · mirastacklabs.ai