因果归因剪枝(CAP)提升大模型推理效率
热点事件持续更新
因果归因剪枝(CAP)提升大模型推理效率
1 篇报道1 个报道来源4 小时前更新
先了解这件事
AI 综述
研究者提出了一种名为因果归因剪枝(Causal Attribution Pruning, CAP)的免训练方法。该方法通过测量注意力头的因果影响,为权重剪枝提供指导,旨在优化大语言模型的结构。 在性能评估方面,CAP 方法在 20% 稀疏度下进行了测试。相较于基准方法 Wanda,CAP 在 ARC-Challenge 任务上的准确率提升了 61%,显示出其在保持模型推理性能方面的显著优势。
AI 根据报道生成 · 1 小时前更新
最新进展10月28日 12:00
因果归因剪枝(CAP)在大语言模型中保持推理性能报道时间线
沿着报道,了解事件的不同侧面。
10月28日
- arXiv · NLP因果归因剪枝(CAP)在大语言模型中保持推理性能
研究者提出免训练方法 Causal Attribution Pruning (CAP),通过测量注意力头因果影响指导权重剪枝,在 20% 稀疏度下于 ARC-Challenge 比 Wanda 提升 61% 准确率。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。