跳到正文
Seven Minute Feed·· 15 天前AI 评分52

Anthropic 推出 Message Threads,长对话首个 token 延迟降低 35%

Anthropic launches Message Threads, cutting time to first token 35% on long chats

AI 导读

Anthropic 在 Claude 平台以公测形式推出 Message Threads 功能。该功能支持仅发送变更部分,在 50 万至 100 万 token 的请求中可将首个 token 延迟降低约 35%,且 token 用量不变。功能支持 AWS、Microsoft Foundry 和 Google Cloud,在内存中保持加密并在闲置 5 分钟后过期。

来源:Seven Minute Feed · claude.com