arXiv · ML· Saksham Rathi, Preeti, Mythili Vutukuru·· 2026-10-14AI 评分33
Feather:基于强化学习的 LLM 推理前缀感知调度器
Requests of a Feather Must Flock Together: Batch Size vs. Prefix Homogeneity in LLM Inference
AI 导读
该研究提出前缀感知调度器 Feather,利用强化学习(RL)优化 LLM 推理中的批处理大小与前缀同质性平衡。 Feather 集成 Chunked Hash Tree (CHT) 数据结构以加速前缀检测,集成到 vLLM 和 SGLang 后,端到端吞吐量比现有调度器高 2-10 倍。 在未共享前缀的工作负载下,Feather 性能不逊于现状,通过减少 KV cache 访问次数实现性能提升。
来源:arXiv · ML · arxiv.org