arXiv · ML· Lin Zhang·· 2026-10-14AI 评分25
SAKI-RoPE: 结合 RoPE 感知协方差与随机矩阵噪声分析的分数感知低秩 Key 索引
SAKI-RoPE: Score-Aware Low-Rank Key Indexing with RoPE-Aware Covariance and Random-Matrix Noise Analysis
AI 导读
SAKI 是一种免训练 KV cache 索引方法,直接保留注意力分数而非 Key 重建质量,在多个基准模型上优于 PCA。 在 rank 32 时,SAKI 消除了 PCA 剩余 top 64 recall 误差的 13% 到 30%,LLaMA 3.1 8B 的 recall 从 0.748 提升至 0.799。
来源:arXiv · ML · arxiv.org