Hacker News LLM· bleonard·· 5 小时前AI 评分70
用独立工具实现 LLM 基准试验间的 prompt cache 隔离
The one time we break the LLM cache on purpose
AI 导读
Induction AI 团队通过为每个基准试验注入一个名称含 trial id 的 dummy tool,实现 prompt cache 在试验内有效、跨试验隔离,避免前一个试验的缓存污染后续试验的成本测量。
来源:Hacker News LLM · induction.ai