跳到正文
arXiv · NLP· Xibo Ding, Guoxia Wang, Jinle Zeng, Jiabin Yang, Sirui Tao, Chao Yang, Dianhai Yu·· 2026-10-14AI 评分40

Virtual Head Attention 实现长上下文 LLM 中 KV 缓存、计算与质量的三重优化

Virtual Head Attention

AI 导读

VHA 通过 Q Premix 和 Linear Postmix 两个线性操作,同时降低 KV 缓存、训练与 prefill FLOPs,并保持模型质量优于 GQA。

来源:arXiv · NLP · arxiv.org