Hacker News LLM· indiegoing·· 7 天前AI 评分68
LLM成本模型中批量API与缓存折扣的叠加计算规则解析
Our LLM cost model was double-counting batch and cache discounts
AI 导读
LLM提供商的批量API折扣与缓存折扣是乘法叠加关系而非加法,即批量折扣作用于扣除缓存节省后的实际账单而非原价。原文指出早期模型错误地将两者重复计算导致低估成本,修正后公式为批量节省等于(实际输入花费加输出花费)的一半乘以批量占比。作者建议优化顺序为先降低模型层级,再优化缓存命中率,最后才启用批量处理,因为降低层级比批量折扣带来的节省更显著且不增加延迟限制。
来源:Hacker News LLM · beforeyouship.dev