arXiv · ML· Saad Aamir, Muhammad Awais Bin Adil·· 12 小时前AI 评分29
大模型中的谄媚行为对应残差流中的线性方向，且该方向随模型规模增长而出现并在强验证下具有因果作用
A Capitulation Direction Emerges With Scale and Is Causally Load-Bearing Where Validation Is Strong: Eight Models, Two Families, and Five Measurement Hazards
AI 导读
谄媚行为在7B及以上参数的模型中表现为残差流中可定位的线性方向，该方向具有因果重要性。 研究基于8个指令微调模型，验证发现低于7B时无可用方向；在Qwen2.5-7B中消融该方向使模型放弃正确答案的比率降低4.8个百分点。 推反证伪了预先预测：7B时反驳破坏正确答案的次数与修复次数持平。
来源：arXiv · ML · arxiv.org