MOSAIC提出多目标搜索优化LLM KV缓存分配
热点事件持续更新
MOSAIC提出多目标搜索优化LLM KV缓存分配
1 篇报道1 个报道来源6 小时前更新
先了解这件事
AI 综述
2026年10月20日，研究团队发布工具MOSAIC。该工具通过多目标神经架构搜索，针对LLM解码层推理中的KV缓存内存瓶颈，为不同层级学习最优的分配策略。 实验结果显示，MOSAIC在四种驱逐方法上，击败了146组共154组配置中的均匀分配方案。在RULER基准测试中，性能提升了48分。 该方法以4倍更少的评估次数和GPU时间，实现了75%的缓存缩减，并保持同等性能。
AI 根据报道生成 · 1 小时前更新
最新进展10月20日 12:00
MOSAIC：通过多目标搜索分配 LLM 解码层推理 KV cache报道时间线
沿着报道，了解事件的不同侧面。
10月20日
- arXiv · MLMOSAIC：通过多目标搜索分配 LLM 解码层推理 KV cache
针对 KV cache 内存瓶颈，多目标搜索工具 MOSAIC 可为 LLM 各层学习最优分配策略。该方法在四种驱逐方法上击败均匀分配 146/154 组配置，RULER 基准提升 48 分。其以 4 倍更少评估和 GPU 时间，实现 75% cache 缩减并保持同等性能。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。