arXiv · ML· Maximilian S. Ernst (Max Planck School of Cognition, Center for Lifespan Psychology Max Planck Institute for Human Development, Machine Learning Group Technische Universit\"at Berlin), Lorenz Linhardt (Machine Learning Group Technische Universit\"at Berlin, Berlin Institute for the Foundations of Learning and Data), Aaron Peikert (Center for Lifespan Psychology Max Planck Institute for Human Development), Oliver Eberle (Machine Learning Group Technische Universit\"at Berlin, Berlin Institute for the Foundations of Learning and Data)·· 5 小时前AI 评分27
分布式稀疏干预：通过控制不足 0.1% 的神经元对齐语言模型
Distributed Sparse Interventions in Language Models
AI 导读
研究团队提出分布式稀疏干预（DSI）方法，通过干预少于 0.1% 的神经元来引导语言模型。 DSI 在 12 个任务和 3 个模型中优于密集向量，性能常匹配 10-shot 上下文学习。 该方法揭示了分散计算组件的交互机制，为模型行为对齐提供了新的研究视角。
来源：arXiv · ML · arxiv.org