arXiv · ML· Zhan Jin, Yuze Luo, Bin Cui, Xupeng Miao·· 2026-10-14AI 评分22
MapFlow:通过注意力图复用加速跨模型 LLM 推理
Accelerating Cross-Model LLM Inference via Attention Map Reuse
AI 导读
MapFlow 系统通过复用注意力图替代 KV 状态,实现异构 LLM 的高效服务。 其结合部分重计算与轻量线性转换,并引入块级稀疏压缩和融合检索内核以支持长上下文。 实验表明,该系统在保持生成质量的同时降低了预填充延迟并提升了端到端服务效率。
来源:arXiv · ML · arxiv.org