arXiv · NLP· Koki Itai, Jun Hirako, Hiroaki Yamagiwa·· 3 天前AI 评分28
大语言模型拒答方向的机制可解释性:基于查询歧义、知识限制与安全对齐的研究
Abstention Direction in Large Language Models: Mechanistic Interpretability of Abstention Across Query Ambiguity, Knowledge Limits, and Safety Alignment
AI 导读
研究将拒答方向框架扩展至查询歧义、模型知识限制与人类价值观对齐三个维度。 通过构建反事实对并计算激活动差,发现中间层激活转向能调节三种拒答行为,且各维度存在共同方向分量。 该机制可解释性有助于提升大语言模型在不确定性下的可信度。
来源:arXiv · NLP · arxiv.org