Hacker News LLM· flipcyde101·· 2 小时前AI 评分54
kvdiff:定位 LLM 提示词缓存失效字节的本地代理工具
Kvdiff – Local proxy showing the byte breaking your LLM prompt cache
AI 导读
kvdiff 是一个零代码本地代理,可精准定位导致 LLM 提示词缓存失效的 UTF-8 字节,支持 Anthropic、OpenAI、Google Gemini 及本地 llama.cpp / vLLM 环境。该工具提供 15 秒演示环境,可量化因工具重排序或动态系统字段导致的缓存失效成本,并支持通过 --heal 参数自动修复前缀,默认严格本地运行且不修改原始请求字节。
来源:Hacker News LLM · github.com