arXiv · ML· Sicheng Feng, Keda Tao, Huan Wang·· 24 天前AI 评分24
Oracle Pruning 并非真正的 Oracle:系统检验其在深度网络中的有效性
Is Oracle Pruning the True Oracle?
AI 导读
该论文通过 3.7 万个模型实验发现,在 ResNet56 等深层网络中,Oracle Pruning 剪枝后的表现与重训练后的性能几乎无相关性。 这一反直觉结果指出,基于 Oracle Pruning 推导剪枝准则的基础假设存在缺陷,任务复杂度上升是导致其失效的主因。 作者建议在未来开发剪枝准则时,必须将重训练阶段纳入考量。
来源:arXiv · ML · arxiv.org