跳到正文
arXiv · NLP· Jundong Hu, Shekar Ramachandran·· 13 小时前AI 评分27

XMerge:用于 LLM 深度压缩的跨轴选择与重建层合并方法

XMerge: Cross-Axis Selection and Reconstructive Layer Merging for LLM Depth Compression

AI 导读

XMerge 是一种后训练方法,通过跨轴选择识别低变化块,并由局部边界重建重新拟合相邻层,实现 LLM 深度压缩。 该方法无需任务标签或端到端微调,不引入架构变更或额外推理参数,在 Llama 和 Qwen 骨干模型测试中表现优于现有基线。 在 k=4 移除级别下,XMerge 在 CORE 和 MMLU 基准上排名第一,避免了大困惑度增加,被 NeurIPS 2026 接收为口头报告。

来源:arXiv · NLP · arxiv.org