arXiv · ML· Sravanth Kodavanti, Manjunath Arveti·2026-10-20 12:00· 7 小时前AI 评分20

MOSAIC：通过多目标搜索分配 LLM 解码层推理 KV cache

MOSAIC: Multi-Objective Search for Allocating Inference Cache Across LLM Decoder Layers

AI 导读

针对 KV cache 内存瓶颈，多目标搜索工具 MOSAIC 可为 LLM 各层学习最优分配策略。该方法在四种驱逐方法上击败均匀分配 146/154 组配置，RULER 基准提升 48 分。其以 4 倍更少评估和 GPU 时间，实现 75% cache 缩减并保持同等性能。

来源：arXiv · ML · arxiv.org