UlaCache：面向稀疏 LLM 推理的统一逻辑寻址 KV 缓存系统

论文提出 KV 缓存管理系统 UlaCache，通过统一逻辑地址空间解耦 LLM 推理中的 KV 分配与物理位置，支持数据并行和张量并行的稀疏注意力。 在 CPU 和 GPU 内存预算匹配且启用推测解码的条件下，UlaCache 在 H200 上的峰值解码吞吐量加速比达到 1.70×（TP）和 1.16×（DP），在 B300 上则达到 2.51×（TP）和 1.73×（DP）。