arXiv · NLP· Arunkumar V·· 3 天前AI 评分25
大语言模型在拒绝请求解释中的可修复性评估:正确理由为何缺乏实际指导意义
Right Reason, Wrong Advice: Evaluating Recourse in LLM Explanations of Denied Requests
AI 导读
一项覆盖20个大语言模型的研究发现,当多个规则独立触发时,解释中引用的单一正确理由通常无法帮助用户成功改变结果。 在7个移植自访问控制和福利资格系统的规则系统中,6个显示出“修复正确理由后决定仍为拒绝”的高频现象;各模型识别该缺陷的能力接近随机。 研究指出,仅当询问“按解释操作是否有效”时强裁判模型才能发现缺陷,且推理型模型在含4个以上独立理由的拒绝中仍频繁失效。
来源:arXiv · NLP · arxiv.org