arXiv · NLP· Afshin Sadeghi, Daniel Becker·· 3 天前AI 评分23
研究揭示语言模型中探测与引导的最优方向并不一致
Do Probing and Steering Favor the Same Directions Within and Across Language Models?
AI 导读
研究在三个指令微调模型中发现,探测概念的最优方向与引导模型行为的最优方向不同,引导倾向于更接近均值差异的方向。 在59/60个层-模型-概念组合中验证了这一分离现象;对于情感分类,中间方向的引导效果比均值差异强27-56%。 在PopQA基准上,向“未知”引导使不确定错误的拒答率提高18-44个百分点,但极少纠正错误。
来源:arXiv · NLP · arxiv.org