arXiv · AI· Ziji Shi, Xinyi Wan, Chaoyi Ruan, Guangxing Huang, Min Lin, Jialin Li·· 3 天前AI 评分33
长输出 LLM 服务中的抢占优化:Stint 系统
Making Preemption Productive in Long-Output LLM Serving
AI 导读
论文提出 Stint 系统,解决推理 LLM 长输出场景中 KV 缓存因内存不足导致的频繁抢占(KV thrashing)问题。 通过 CPU 连续池存储固定长度 KV 快照、年龄-based 重新准入及剩余长度估计选优,Stint 在 Qwen3-32B 上使无请求暂停超 50 秒,p99 输出 token 时间降低 50.7%,整体完成时间缩短 10.7%。
来源:arXiv · AI · arxiv.org