arXiv · NLP· Prakhar Gupta, Terry Jingchen Zhang, Zhijing Jin·· 4 小时前AI 评分28
一致性训练削弱线索有效性但未教会模型识别线索可靠性
Consistency Training Suppresses Cue Following Without Teaching Cue Selectivity
AI 导读
在 Gemma-2-2B-it 和 Llama-3.1-8B-Instruct 上测试四种一致性训练方法,发现它们仅削弱训练线索,未教会模型区分线索对错。 正确与错误线索影响力同步下降,线索位置(选项前/后)显著影响修正幅度,电路头部仍携带残余误差。 该发现表明当前一致性训练方法未能提升模型对线索选择性的识别能力。
来源:arXiv · NLP · arxiv.org