arXiv · NLP· Jo\~ao Eduardo Batista, Emil Vatai, Mohamed Wahib·· 15 天前AI 评分37
无需重训练加速大规模混合 LLM 长上下文解码
Accelerating Long-Context Decoding in Large-Scale Hybrid LLMs Without Retraining
AI 导读
该研究通过结合滑动窗口、固定前缀和相关 token 预算的稀疏注意力,加速混合 LLM 的长上下文解码,无需重新训练。 在 4B 至 397B 参数的六个模型上验证,处理 64k/256k 上下文时速度提升最高达 2.23 倍,且保留了基线模型在 21 个长上下文数据集上的精度。
来源:arXiv · NLP · arxiv.org