arXiv · ML· Bhushan Deshpande·· 2026-10-09AI 评分22
DADP: 一种受反向 Hebbian 启发的动态活动依赖结构剪枝方法
DADP: Dynamic Activity-Dependent Pruning, A Reverse Hebbian-Inspired Structural Pruning Method
AI 导读
DADP 通过测量突触前激活与突触后误差梯度乘积来动态分配稀疏度,无需逐层固定稀疏预算。在 ResNet-18 上实现 99% 稀疏度时保留 73.67% 准确率,优于 Magnitude 和 SNIP。 该方法在 MLP、VGG-16、ResNet-18、BiLSTM-CRF 和 MiniBERT 架构上验证了性能,并通过香农熵确认极稀疏下特征多样性未崩塌。
来源:arXiv · ML · arxiv.org