arXiv · ML· Zekun Zhao, Jeffrey Flanigan·· 7 天前AI 评分33
并行提示技术加速共享上下文 LLM 推理
Read Once, Answer Many: Parallel Prompting for Shared-Context LLM Inference
AI 导读
并行提示(Parallel Prompting)通过并行解码独立问题流,解决了传统前缀缓存在解码阶段受内存带宽限制的瓶颈。 该方法在 SGLang 中仅需增加约 80 行代码,利用流 ID 注意力掩码实现单次阅读共享文档。在 CodeLlama-7B 模型及 8k-16k token 文档场景下,相比原生 SGLang 实现 3.7 至 6.0 倍加速。
来源:arXiv · ML · arxiv.org