arXiv · ML· Muhammad Usama, Yeoreum Jung·· 2026-10-14AI 评分31
图引导层融合用于压缩大语言模型
Beyond Adjacent Layers: Graph-Guided Layer Fusion for Compressing Large Language Models
AI 导读
针对 LLM 压缩,非相邻层的高相似对数量是相邻层的 3.6-15.9 倍。 FCM 结合谱聚类与 LoRA 恢复,在 2x 压缩下于 13 个模型中的 12 个优于 ShortGPT。 Qwen2.5-7B 压缩后参数减少 46%,单卡 A100 解码吞吐量提升 84%。
来源:arXiv · ML · arxiv.org