AI 上下文重建机制致 Token 平方级增长

技术解析文章指出，AI 聊天应用每次请求均重新发送包含系统提示、工具及历史的完整上下文，导致 Token 消耗随对话长度呈平方级增长。模型收到的是重建的文本块，响应结束后即遗忘该状态。 在计费方面，文章举例称在 Claude Sonnet 5.5 上，缓存读取成本为正常输入价格的 0.05 倍。针对 Anthropic 的服务，缓存有效期为 5 分钟，每次命中均重置计时器，从而在用户回复期间保持缓存热度。 文中还提及，当工具定义变更或超出 5 分钟限制时，缓存会失效并重置价格。此外，当上下文接近限制时，助手会自动压缩旧消息，模型仅保留摘要而非原始对话内容。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。