跳到正文
arXiv · ML· Vincent-Daniel Yun, Junhyuk Jo, Sai Praneeth Karimireddy, Sunwoo Lee·· 10 天前AI 评分23

Ghosted Layers:面向恢复层剪枝LLM的无约束激活对齐

Ghosted Layers: Unconstrained Activation Alignment for Recovering Layer-Pruned LLMs

AI 导读

Ghosted Layers提出了一种无需训练的方法,通过求解边界激活对齐问题来恢复层剪枝LLM。该方法利用校准集推导闭合形式的最优线性算子,重构被剪枝层引入的激活差异。 在多个LLM骨干和剪枝策略下,Ghosted Layers在精度和困惑度上大多优于现有无需训练的恢复方法,同时保留剪枝效率。

来源:arXiv · ML · arxiv.org