跳到正文
arXiv · NLP· Hongnian Huang, Hongliang Liu·· 15 天前AI 评分28

当所有选择都正确:大语言模型数值偏好的因果研究

When Every Choice Is Correct: A Causal Study of Numerical Preference in Language Models

AI 导读

研究利用 1-30 间的数值选择考察语言模型偏好,在 Qwen3-4B 中通过扰动探测发现前答案编辑可使输出从 17 变为 15。 梯度归因与注意力输出替换显示,后续计算改变了局部贡献的下游影响,使 7 与 5 的对数几率差从 0.119 降至 0.0025 nat。 该研究将数值选择作为受控案例,揭示了持续状态的条件性下游处理机制。

来源:arXiv · NLP · arxiv.org