跳到正文
arXiv · ML· Muhammad Usama, Yeoreum Jung·· 2026-10-14AI 评分31

图引导层融合用于压缩大语言模型

Beyond Adjacent Layers: Graph-Guided Layer Fusion for Compressing Large Language Models

AI 导读

针对 LLM 压缩,非相邻层的高相似对数量是相邻层的 3.6-15.9 倍。 FCM 结合谱聚类与 LoRA 恢复,在 2x 压缩下于 13 个模型中的 12 个优于 ShortGPT。 Qwen2.5-7B 压缩后参数减少 46%,单卡 A100 解码吞吐量提升 84%。

来源:arXiv · ML · arxiv.org