跳到正文
arXiv · AI· Mohamed Aghzal, Mor Geva, Gregory J. Stein, Ziyu Yao·· 4 天前AI 评分28

机制可解释性能否解释 LLM 智能体故障?基于网页元素幻觉的案例分析

Can Mechanistic Interpretability Help Explain LLM Agent Failures? A Case Study on Web Element Hallucination

AI 导读

该研究通过案例探讨机制可解释性在解释 LLM 智能体网页幻觉故障上的局限性,并基于 Qwen2.5-7B-Instruct 展开分析。 具体实验表明,针对最后一个 prompt token 训练的线性探针在生成前即可预测幻觉(AUC 为 0.80),且沿探针方向进行 steering 能纠正 85% 的幻觉,但会干扰 7% 的有效操作。

来源:arXiv · AI · arxiv.org