SoCo：优化奇异谱以实现大语言模型压缩

SoCo 框架提出一种数据驱动的方法，通过可学习对角矩阵对 SVD 分解的奇异谱进行重缩放，以优化 LLM 压缩效果。 该方法包含三阶段训练过程，从粗粒度压缩逐步过渡到细粒度稀疏化，利用放大重要分数的剩余组件补偿被剪枝组件的损失，在多模型评测中表现优于最先进方法。