重思LLM剪枝：测试时缩放分析揭示推理成本权衡

近期arXiv发布一项针对大语言模型剪枝的测试时缩放分析研究。该研究指出，即使模型经历大量剪枝，部分LLM在匹配采样预算下的pass@k推理覆盖率仍能达到或超过原始模型，但其pass@1性能有所降低。 在严重剪枝情况下，模型生成多样化思维链（CoT）轨迹的能力受到影响，表现为重复率增加及生成可靠性下降。这导致正确解法更难被采样，进而使总token使用量大幅上升。 研究强调，评估剪枝效果不能仅看单次成功率，必须同时考量模型可解决问题的范围以及获取正确解法的采样成本。

AI 根据报道生成 · 53 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。