MLIPS多层索引共享方法发布

MLIPS 提出一种免训练的多层索引池共享方法。该方法通过在推理过程中，由生产者层发布 Top-M 索引池，供后续消费者层直接复用，从而避免重复计算。 在 vLLM 框架中对 DeepSeek-V4-Flash 模型进行实现，该方法采用了层间共享、持续解码复用及粗粒度生产者策略。实验显示，每三个消费者层对应一个生产者层时，可实现 1.14 至 1.40 倍的推理加速。 性能测试表明，在四个长上下文基准测试中，该方法降低了 14.8% 至 27.4% 的 GPU 能耗。精度方面，单次运行结果显示误差控制在 -1.49 到 +0.29 个百分点之间。但需注意，进行更大规模的共享可能会带来依赖任务性质的质量损失。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。