跳到正文
Hacker News LLM· bleonard·· 5 小时前AI 评分70

用独立工具实现 LLM 基准试验间的 prompt cache 隔离

The one time we break the LLM cache on purpose

AI 导读

Induction AI 团队通过为每个基准试验注入一个名称含 trial id 的 dummy tool,实现 prompt cache 在试验内有效、跨试验隔离,避免前一个试验的缓存污染后续试验的成本测量。

来源:Hacker News LLM · induction.ai