arXiv · ML· Kwun Fung Lau, Frost Mitchell, Kanya Mo, Emani Ashok·· 9 小时前AI 评分45
CACPU：面向 CPU 预填充的缓存感知因果注意力内核
Causal Attention on CPU: A Cache-Aware and Load-Balanced Scheduling Kernel for Prefill
AI 导读
CACPU 提出层级缓存分块和内核内任务调度机制，用于因果全序列预填充，相比 PyTorch SDPA、FlexAttention 和 SGLang 注意力内核实现最高 2.01 倍加速。 集成到 SGLang 后，Llama-3.1-8B 的首字延迟（TTFT）最多降低 1.74 倍，且保持模型精度。
来源：arXiv · ML · arxiv.org