arXiv · NLP· Yecheng Wu, Song Han, Han Cai·· 21 天前AI 评分39
Weaken to Strengthen: 基于弱化诱导在线策略自蒸馏的大型推理模型
Weaken to Strengthen: Weakening-Induced On-Policy Self-Distillation for Large Reasoning Models
AI 导读
提出弱化诱导在线策略自蒸馏(WISD)框架,利用低比特量化和幅值剪枝构建弱模型作为训练信号,无需特权信息。 在数学和编程推理任务中,量化和剪枝使模型平均准确率分别提升 4.0 和 5.5 个百分点,实现 SOTA 性能。
来源:arXiv · NLP · arxiv.org