arXiv · ML· Muhammad Ibrahim·· 2026-10-16AI 评分30
当 KV Cache 比 GPU 慢:GLM-5.3 远程 KV 分层的上下文并行预填充扩展
When the KV Cache Is Slower Than the GPU: Scaling Remote KV Tiers for Context-Parallel Prefill
AI 导读
在 GLM-5.3 模型上,远程 KV 分层命中延迟 0.88 秒,反而高于 0.31 秒的本地重算,导致系统不稳定。 通过分片存储、按 rank 分区及异步加载,将 GET 带宽提升至 10.76 GB/s,并修复客户端 bug。 命中流 p99 延迟从 83.32 秒降至 0.67 秒,预填充吞吐量提升 34%。
来源:arXiv · ML · arxiv.org