跳到正文
arXiv · AI· Himanshu Mishra·· 2 天前AI 评分28

推理语言模型剪枝中归因测量的脆弱性

The Fragility of Reasoning-Importance Attribution for Pruning Language Models

AI 导读

研究发现,基于归因的剪枝在推理语言模型中测量不可靠,评分最终答案 token 会导致模型困惑度上升或准确率下降 27.6 至 32.2 分。 因果重要性无法定位到单个神经元,需以约 100 个神经元的组为粒度进行归因,且“推理特异性”重要性与通用重要性不可分离。 建议剪枝时应以推理 token 为评分对象,并优先使用准确率而非困惑度评估模型性能。

来源:arXiv · AI · arxiv.org