跳到正文
arXiv · NLP· Zile Wang, Zhide Xie, Tao Ji·· 2026-10-14AI 评分20

论文提出MLAfication:高效为现代大语言模型赋能高保真MLA注意力

MLAfication: Efficiently Enabling High-Fidelity MLA for Modern LLMs

AI 导读

论文提出MLAfication框架,一种支持QKNorm和MoE的参数高效MHA2MLA扩展方法。 该方法结合校准KNorm、参数蒸馏、部分RoPE和联合KV初始化,在Qwen3-30B-A3B上实现5.35倍BF16 GQA服务吞吐量,配合4-bit量化将KV缓存占用降低94.73%。 该工作将MLA转换扩展到现代架构,超越当前SOTA在常识和长上下文基准上的表现。

来源:arXiv · NLP · arxiv.org