跳到正文
arXiv · NLP· Houcheng Jiang, Mao Zheng, Mingyang Song, Qiyong Zhong, Jie Sun, Tianyu Zhang, Junfeng Fang·· 2026-10-09AI 评分28

RECAL:针对在线策略蒸馏恢复的结构化剪枝校准方法

ReCal: Calibrating Structured Pruning for On-Policy Distillation Recovery

AI 导读

研究提出即插即用方法 RECAL,通过在校准阶段重加权统计量以优化剪枝目标,从而提升在线策略蒸馏(OPD)的恢复效果。 在多个模型和剪枝方法测试中,RECAL 显著提升了数学推理能力,在 AIME 基准测试中取得最高 16.7 个百分点的提升,并改善了多数代码生成对比结果。

来源:arXiv · NLP · arxiv.org