arXiv · NLP· Xibo Ding, Guoxia Wang, Jinle Zeng, Jiabin Yang, Sirui Tao, Chao Yang, Dianhai Yu·· 2026-10-14AI 评分40
Virtual Head Attention 实现长上下文 LLM 中 KV 缓存、计算与质量的三重优化
Virtual Head Attention
AI 导读
VHA 通过 Q Premix 和 Linear Postmix 两个线性操作,同时降低 KV 缓存、训练与 prefill FLOPs,并保持模型质量优于 GQA。
来源:arXiv · NLP · arxiv.org