Pith 发布：一款能削减 LLM 输出 token 的代理

Pith 是一款代理工具，用于通过回放样本并让裁判模型对比基线来削减 LLM 输出 token，若效果未达基线则拒绝修改。工具通过 pip 安装，支持 Anthropic 和 OpenAI 接口。在 Anthropic API 的 10 次实测中，部分路由实现了最高 55% 的 token 削减，但仅在满足成本回收期时固定配置，否则拒绝。