跳到正文
arXiv · AI· Kwan Yan, Jialun Zhong, Yanzeng Li·· 18 天前AI 评分29

LEAP: 基于通用化长度预测的高效 LLM 推理调度

LEAP: Efficient LLM Inference Scheduling with Generalizable Length Prediction

AI 导读

LEAP 通过在线适应和异步 CPU 执行,利用预填充隐状态提取长度信号,实现高效 LLM 推理调度。 相比最强基线,其参数量减少 30,569 倍,吞吐率提升 1.9%,每 token 延迟降低 15.9%–40.8%;在较大领域偏移下在线适应使 Spearman 相关系数提升 64.7%。

来源:arXiv · AI · arxiv.org