跳到正文
热点事件持续更新

FlagRot 论文:低比特 KV 缓存选择性旋转

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

2026年11月2日,Kunming Shao 等人在 arXiv 发布论文《FlagRot: 面向低比特 KV 缓存的选择性旋转方法》,提出一种用于低比特 KV 缓存的选择性旋转技术。 该方法在 2.5 bits/value 精度下,将 12 个模型的 KIVI KL 散度从 18.7 降至 12.4 × 10⁻³;其中 9 个模型表现优于 RotateKV。 作为 vLLM 插件,FlagRot 在 4 个模型中的 3 个上提升了 RULER 与 LongBench v1 性能,具体在 128k tokens 长度的 RULER 评测中提升 2.9 分。论文同时开源了代码。

AI 根据报道生成 · 1 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月4日
  1. arXiv · AI
    FlagRot: 面向低比特 KV 缓存的选择性旋转方法

    FlagRot 提出了一种选择性旋转方法,用于低比特 KV 缓存。在 2.5 bits/value 下,它将 12 个模型的 KIVI KL 散度从 18.7 降至 12.4 × 10⁻³。 该方法在 9/12 个模型上优于 RotateKV,并在 4 个模型中的 3 个上通过 vLLM 插件提升了 RULER 和 LongBench v1 性能。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。