LLM教程:用LRU缓存提升MoE模型本地推理性能

1. 02:11
   R/ArtificialInteligence

   利用专家局部性原理让 94GB 的 Qwen3.8-Flash-Next 在单张 RTX 5090 上达到 68 tok/s

   llama.cpp 合并的 PR #29887 利用专家路由的局部性原理，在 VRAM 中构建 LRU 专家缓存，解决 MoE 模型本地推理的瓶颈。该方案使 94GB 的 Qwen3.8-Flash-Next 模型在单张 RTX 5090 上以 67.8 tok/s 的速度运行，相比无缓存状态提升 2.2 倍，命中率达 89%。

趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。