跳到正文
机器之心·· 11 天前AI 评分39

北大提出MapFlow,通过跨模型复用注意力图降低LLM推理延迟

跨模型上下文交接还要重算KV?北大提出MapFlow,让注意力跨模型复用

AI 导读

北京大学PKU-DAIR团队提出MapFlow,通过复用注意力图实现跨模型KV状态共享。该方法将prefill延迟降低15%–20%,多轮对话场景下吞吐量提升25%。代码已开源,系统已集成至vLLM,支持Qwen3和Ministral3模型家族。

来源:机器之心 · mp.weixin.qq.com