跳到正文
arXiv · NLP· Yucheng Du, Xiyang Hu·· 4 小时前AI 评分37

LLM 中识别与拒答的错位:模型为何回答结构上不可解的问题

Recognition-Refusal Misalignment in LLMs: Why Models Answer Structurally Unanswerable Questions

AI 导读

LLM 对结构上不可解的数学和代码问题倾向于强行作答而非拒答。研究在 1.7B 至 70B 参数的指令微调模型中发现,隐藏状态中存在一个线性方向,能在生成前区分可解与不可解的问题。该识别方向与常规安全拒答方向几乎正交,说明模型已编码了“无解”信号,但路由机制失效,未能将其导向拒答路径。

来源:arXiv · NLP · arxiv.org