利用专家局部性原理让 94GB 的 Qwen3.8-Flash-Next 在单张 RTX 5090 上达到 68 tok/s

llama.cpp 合并的 PR #29887 利用专家路由的局部性原理，在 VRAM 中构建 LRU 专家缓存，解决 MoE 模型本地推理的瓶颈。该方案使 94GB 的 Qwen3.8-Flash-Next 模型在单张 RTX 5090 上以 67.8 tok/s 的速度运行，相比无缓存状态提升 2.2 倍，命中率达 89%。