跳到正文
arXiv · ML· Igor Shilov, Thomas Fel, Tal Haklay, Lucius Bushnaq, Owen Lewis·· 2 天前AI 评分26

Llama-3.1-8B 神经元社区发现揭示语言模型神经元稀疏行为

Large-scale Neuron Community Discovery Reveals Neuron-Sparse Behaviors in Language Models

AI 导读

研究者提出神经元社区发现方法,在 Llama-3.1-8B 上发现数千个可复用的神经元组,其中 128 个神经元以内可解释 10.3% 测试提示。 该方法结合梯度归因与图社区检测,通过因果测试验证了这些组在语法一致、算术运算等任务中的必要性,支持了神经元稀疏计算的假设。

来源:arXiv · ML · arxiv.org