arXiv · ML· Yufeng Wang·· 2026-10-09AI 评分22
冻结解码器,治愈编码器:基于SVD的KV缓存压缩的参数高效适应
Freeze the Decoder, Heal the Encoder: Parameter-Efficient Adaptation for SVD-Based KV-Cache Compression
AI 导读
共享学习率对比不同可训练参数量的微调方法会制造假象,掩盖真实效果。 修正此偏差后,冻结解码器并仅微调编码器的方案可节省3倍可训练参数及优化器状态内存。 该方法作为低内存替代方案,用于在训练时改造低秩KV缓存压缩。
来源:arXiv · ML · arxiv.org