arXiv · ML· Shengkun Tang, Cong Zeng, Zongfang Liu, Dan Alistarh, Zhiqiang Shen·· 2026-10-14AI 评分34
GA-SVD: 面向生成任务的大语言模型压缩中的生成感知奇异值分解
GA-SVD: Generation-aware Singular Value Decomposition for LLM Compression
AI 导读
GA-SVD 提出一种生成感知的低秩压缩框架,用于在压缩大语言模型时保留生成任务性能。 该框架包含生成感知权重白化(GAWW)和进化全局秩分配策略,在 Mistral-7B、Qwen3 系列及 Llama-3.3 模型上均优于现有 SVD 基线,并扩展至 70B 参数模型。
来源:arXiv · ML · arxiv.org