arXiv · AI· Moritz Thoma, Maximilian Groezinger, Maximilian Forstenh\"ausler, Emad Aghajanzadeh, Manoj Rohit Vemparala, Christos Anagnostopoulos, Pierpaolo Mori, Nael Fasfous, Alexander Frickenstein, Daniel Mueller-Gritschneder, Ulf Schlichtmann·· 4 小时前AI 评分29
LEMS 与 KFAC-SVD 推进基于 SVD 的 LLM 压缩
Advancing SVD-based LLM Compression via Layer-Wise Error Model Search
AI 导读
LEMS 和 KFAC-SVD 解决 LLM SVD 压缩中全局秩分配与分解质量瓶颈，基于层级误差模型搜索与 KFAC-SVD。 在 Mistral、Qwen3 和 Llama 3 上，LEMS 零样本准确率提升最高达 4.8 个百分点，可泛化至 70B 参数模型；KFAC-SVD 平均困惑度改善 15%。 方法兼顾秩分配与分解质量，提升低秩 SVD 压缩的效率与精度。
来源：arXiv · AI · arxiv.org