跳到正文
arXiv · ML· Fanxu Meng, Zhixin Pan·· 2026-10-15AI 评分35

GQLA: 面向硬件自适应解码的组查询潜在注意力

GQLA: Group-Query Latent Attention for Hardware-Adaptive Decoding

AI 导读

GQLA通过组共享上投影保留联合潜在表示,支持MQA-absorb和GQA双路径执行。 预训练损失接近MLA,转换DeepSeek-V3.1-Base后八任务精度为77.79%,GQA路径吞吐量较MQA-absorb提升22.42-34.97%。 该架构支持根据GPU计算带宽比和并行策略选择最优解码路径。

来源:arXiv · ML · arxiv.org