arXiv · ML· Jonathan Drechsel, Steffen Herbold·· 16 小时前AI 评分27
语言模型中用于干预的梯度和用于检测的激活值:目标特征学习
Gradients for Interventions and Activation Values for Detection: Targeted Feature Learning in Language Models
AI 导读
研究对比了激活值、激活梯度和参数梯度三种模型信号在目标特征学习中的表现,涵盖 15 项任务和 10 种语言模型。结果显示,对比均值激活值方法在概念检测上表现最强,而基于梯度的方法在因果干预上效果最佳。该研究揭示了检测与干预性能分别依赖于不同的模型信号组合。
来源:arXiv · ML · arxiv.org