跳到正文
arXiv · ML· Roman Rausch, David Jansen, Sukhbinder Singh, Rom\'an Or\'us·· 5 小时前AI 评分35

FermiGrad-SVD:一种基于全局秩选择与规范约束的 LLM 压缩流水线

FermiGrad-SVD: An LLM Compression Pipeline with Global Rank Selection and Gauge Fixing

AI 导读

提出 FermiGrad-SVD 流水线优化基于 SVD 的 LLM 压缩,包含 FermiGrad、Targeted Compressor 和 PivGa 三个互补方法。

来源:arXiv · ML · arxiv.org