跳到正文
热点事件持续更新

因果归因剪枝(CAP)提升大模型推理效率

1 篇报道1 个报道来源4 小时前更新

先了解这件事

AI 综述

研究者提出了一种名为因果归因剪枝(Causal Attribution Pruning, CAP)的免训练方法。该方法通过测量注意力头的因果影响,为权重剪枝提供指导,旨在优化大语言模型的结构。 在性能评估方面,CAP 方法在 20% 稀疏度下进行了测试。相较于基准方法 Wanda,CAP 在 ARC-Challenge 任务上的准确率提升了 61%,显示出其在保持模型推理性能方面的显著优势。

AI 根据报道生成 · 1 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月28日
  1. arXiv · NLP
    因果归因剪枝(CAP)在大语言模型中保持推理性能

    研究者提出免训练方法 Causal Attribution Pruning (CAP),通过测量注意力头因果影响指导权重剪枝,在 20% 稀疏度下于 ARC-Challenge 比 Wanda 提升 61% 准确率。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。