R/ArtificialInteligence· /u/uneatenbreakfast·· 2 小时前AI 评分25
中转站缺乏提示词缓存导致成本优势被抵消
Transfer stations benefits negated by no prompt caching
AI 导读
用户发现中国 API 中转站虽提供 50-90% 的价格折扣,但因上游无提示词缓存,长会话中每次请求均需按全量输入价格计费,极大消耗 token 导致实际成本反超官方 API。 该现象主要影响使用 AI 编码的开发者,使其在长上下文中需使用 100 倍以上的 token 才能抵消缓存缺失带来的额外费用。
来源:R/ArtificialInteligence · reddit.com