arXiv · ML· Vincent-Daniel Yun, Junhyuk Jo, Sai Praneeth Karimireddy, Sunwoo Lee·· 10 天前AI 评分23
Ghosted Layers:面向恢复层剪枝LLM的无约束激活对齐
Ghosted Layers: Unconstrained Activation Alignment for Recovering Layer-Pruned LLMs
AI 导读
Ghosted Layers提出了一种无需训练的方法,通过求解边界激活对齐问题来恢复层剪枝LLM。该方法利用校准集推导闭合形式的最优线性算子,重构被剪枝层引入的激活差异。 在多个LLM骨干和剪枝策略下,Ghosted Layers在精度和困惑度上大多优于现有无需训练的恢复方法,同时保留剪枝效率。
来源:arXiv · ML · arxiv.org