为什么你的 AI 消耗如此多的 Token？

AI 聊天应用中的每次请求都会重新发送包括系统提示、工具定义和历史对话在内的完整上下文，导致 Token 消耗随对话长度平方级增长。缓存虽能降低重复计算成本，但工具定义的变更或超时（如 Anthropic 的 5 分钟限制）会导致缓存失效并重置价格；当上下文接近限制时，助手会自动压缩旧消息，模型仅保留摘要而非原始对话内容。