跳到正文
arXiv · ML· Mohammad Pasande, Mateusz Jaworski, Jeroen Rook, Elena Mocanu·· 2026-10-14AI 评分23

极端稀疏训练中的功能可达性与引导拓扑动力学

When Sparsity Breaks Connectivity: Functional Reachability and Guided Topology Dynamics in Extreme Sparse Training

AI 导读

研究提出引导式动态稀疏训练(guided DST),将修剪偏向非功能边缘、再生偏向功能一致候选,以在极端稀疏下保持网络连通性。 在 99.9% 稀疏度下,该方法在 CIFAR-100 上较未引导 DST 最高恢复 14.4 点准确率,且在 MLP-Mixer 于 99.99% 稀疏度下仍可训练,而未引导随机再生则性能急剧下降。 实现代码已公开,将极端稀疏训练重新定义为保持连通性的动力学过程。

来源:arXiv · ML · arxiv.org