Hacker News LLM· zikunw·· 3 小时前AI 评分25
InferScale：面向个性化 LLM 服务的 GPU 原生 KV 注入
InferScale: GPU-Native KV Injection for Personalized LLM Serving
AI 导读
InferScale 是一款 GPU 原生 LLM 记忆系统，通过预计算可重用 KV 状态替代重复预填充，在 LoCoMo 基准上使 k=50 时 TTFT 降低 72-79%。
来源：Hacker News LLM · arxiv.org