arXiv · AI· Yu-Chen Lu, Sheng-Feng Yu, Hui-Hsien Weng, Pei-Shuo Wang, Yu-Fang Hu, Liang Hung-Chun, Hung-Yueh Chiang, Kai-Chiang Wu·· 5 小时前AI 评分40
SkipCat: 基于共享投影与块跳过的 LLM 秩最大化低秩压缩
SkipCat: Rank-Maximized Low-Rank Compression of Large Language Models via Shared Projection and Block Skipping
AI 导读
SkipCat 提出一种无需额外微调的低秩压缩框架，在相同压缩率下较先前方法提升 7% 零样本任务准确率。 该框架引入层内共享低秩投影以减少冗余，并采用块跳过技术省略选定子块的计算与内存传输，从而在相同压缩预算下保留更高有效秩。
来源：arXiv · AI · arxiv.org