跳到正文
arXiv · ML· Alper Kalle, Theo Rudkiewicz, Mohamed-Oumar Ouerfelli, Mohamed Tamaazousti·· 17 小时前AI 评分20

Complete-SVD:基于函数范数的低秩 LLM 压缩方法

Complete-SVD: A Functional Norm Approach to Low-Rank LLM Compression

AI 导读

研究提出 Complete-SVD 方法,通过最小化原模型与压缩模型 logits 间的 L2 距离实现低秩 LLM 压缩。 利用 Kronecker 分解近似和随机探针无偏估计,在匹配设置下取得 WikiText-2 校准最低 C4 和 PTB 困惑度,并优于现有输出感知方法在 IFEval 指令遵循上的准确率。

来源:arXiv · ML · arxiv.org