跳到正文
arXiv · ML· Mehdi Makni, Natalia Ponomareva, Rahul Mazumder·· 2026-10-14AI 评分31

CACTUS:基于曲率感知剪枝保留影响函数的高效优化器

Two For The Price Of One: Curvature-Aware Pruning Preserves Influence Functions Too

AI 导读

研究者提出 CACTUS,一种基于 ADMM 的优化器,支持预训练权重的剪枝与稀疏加低秩分解,在 Qwen3-4B 上实现超过 28 倍于 LLM-Surgeon 的加速。

来源:arXiv · ML · arxiv.org