跳到正文
arXiv · NLP· Payman Behnam, Debopam Sanyal, Pranav Ponnusamy, Kusum Meda Ravi, Pranav Sastry, Mani Chandana Bandaru, Alind Khare, Myungjin Lee, Alexey Tumanov·· 10 天前AI 评分40

BridgeKV:通过 KV 缓存转换实现 LLM 推理的大模型预填充与小模型解码

BridgeKV: Large-Model Prefill and Small-Model Decoding for LLM Inference via KV Cache Translation

AI 导读

BridgeKV 提出用大模型进行预填充、小模型进行解码的 LLM 推理方案,通过轻量级 KV-stitching 模块对齐两者缓存。 在六个模型对和五个数据集的 30 种设置中,该方法优于微调小模型基线,弥补至多 80% 的质量差距;Llama-3.1-Instruct-8B 到 Llama-3.2-Instruct-1B 在单卡上实现 3.0 倍加速。

来源:arXiv · NLP · arxiv.org