跳到正文
arXiv · NLP· Jo\~ao Eduardo Batista, Emil Vatai, Mohamed Wahib·· 15 天前AI 评分37

无需重训练加速大规模混合 LLM 长上下文解码

Accelerating Long-Context Decoding in Large-Scale Hybrid LLMs Without Retraining

AI 导读

该研究通过结合滑动窗口、固定前缀和相关 token 预算的稀疏注意力,加速混合 LLM 的长上下文解码,无需重新训练。 在 4B 至 397B 参数的六个模型上验证,处理 64k/256k 上下文时速度提升最高达 2.23 倍,且保留了基线模型在 21 个长上下文数据集上的精度。

来源:arXiv · NLP · arxiv.org