arXiv · AI· Kunming Shao, Xijie Huang, Jierun Chen, Jiaqi Shao, Yanli Wang, Jiangnan Yu, Qiwei Li, Wei Zhang, Kwang-Ting Cheng, Chi Ying Tsui·· 3 小时前AI 评分25
FlagRot: 面向低比特 KV 缓存的选择性旋转方法
FlagRot: Selective Rotation for Low-Bit KV Caches
AI 导读
FlagRot 提出了一种选择性旋转方法，用于低比特 KV 缓存。在 2.5 bits/value 下，它将 12 个模型的 KIVI KL 散度从 18.7 降至 12.4 × 10⁻³。 该方法在 9/12 个模型上优于 RotateKV，并在 4 个模型中的 3 个上通过 vLLM 插件提升了 RULER 和 LongBench v1 性能。
来源：arXiv · AI · arxiv.org