arXiv · NLP· Tao Jing, Chen Kang, Feifei Zhai, Pengyuan Liu, Dong Yu·· 4 小时前AI 评分30
通过长短对比修剪提升剪枝推理模型思维链压缩性
Improving the Chain-of-Thought Compressibility of Pruned Reasoning Models via Long--Short Contrastive Pruning
AI 导读
研究提出对比集差（CSD）方法，通过对比同一问题长短期解激活差异，优先剪枝冗余推理神经元。 在 DeepSeek-R1-Distill-Qwen-7B 模型上修剪 20% 权重后，结合该方法在四个数学基准上比结合推理感知校准（RAC）少用 8-22% 思维 token，且准确率保持在 0.5 点以内。
来源：arXiv · NLP · arxiv.org