arXiv · ML· Do\u{g}ukan Ba\u{g}c{\i}, Bernt Schiele, Simone Schaub-Meyer, Jonas Fischer, Robin Hesse·· 7 天前AI 评分32
DUNE:在保持预测性能的同时解耦多义神经元
DUNE: Disentangling Polysemantic Neurons Without Losing Predictive Performance
AI 导读
提出 DUNE 方法将深度神经网络神经元分解为更具单义性的子单元,设计上精确保持原始功能。 DUNE 直接应用于预训练模型,无需标签或辅助模型训练,在 DINOv2 等模型上实现单义性与功能保真度的 Pareto 前沿提升。 该方法支持概念特定的细粒度干预,如概念引导,显著推进了相关领域的解释性研究。
来源:arXiv · ML · arxiv.org