跳到正文
arXiv · NLP· Kaiser Sun, Bernal Jimenez Gutierrez, Hongjun Liu, Jingyu Zhang, Jie Gao, Mark Dredze, Daniel Khashabi·· 2026-10-09AI 评分34

知识冲突下评估 LLM 智能体的认知谦逊:准确但不一定谦逊

Accurate but Not Humble: Evaluating Epistemic Humility in LLM Agents under Knowledge Conflict

AI 导读

研究发现 LLM 智能体高任务准确率不必然对应更高的认知谦逊(epistemic humility)。 研究通过识别、解决、升级(ISE)三个行为维度,在受控与自然知识冲突场景中评估了四个智能体,发现模型常在早期检测冲突但后期无法维持。 模型级干预虽能提升认知谦逊,但常以牺牲任务准确率为代价,表明该能力源于底层模型、智能体框架与评估环境的交互。

来源:arXiv · NLP · arxiv.org