arXiv · ML· Boxiang Zhang, Baijian Yang·· 10 天前AI 评分22
CORP:闭式单程表示保持结构化剪枝方法
CORP: Closed-Form One-shot Representation-Preserving Structured Pruning
AI 导读
CORP 提出了一种无需梯度和微调的闭式单程结构化剪枝方法,利用无标签校准数据移除 MLP 和注意力子结构。 该方法将剪枝建模为表示恢复问题,通过闭式岭回归解将补偿折叠进模型权重。在 DeiT-Huge 上,剪除 50% 结构后 Top-1 准确率达到 83.24%,被 NeurIPS 2026 接收。
来源:arXiv · ML · arxiv.org