跳到正文
arXiv · ML· Shawn Im, James Oldfield, Adel Bibi, Sharon Li·· 4 小时前AI 评分25

行为反事实法用于解读模型推理过程

Interpreting Model Reasoning through Behavioral Counterfactuals

AI 导读

提出一种通过行为反事实定位干预如何影响模型推理的方法。 训练模块编辑残差流以最小化源提示与反事实目标提示下的KL散度,相比标准激活重建目标更能有效恢复反事实行为。在Gemma-4-E4B-it和DeepSeek-R1-0528-Qwen3-8B的案例研究中,发现未言及的建议通过题目陈述和填充词表征影响推理。

来源:arXiv · ML · arxiv.org