arXiv · AI· Alisson Rosa Pereira, Bruno Iochins Grisci·· 4 小时前AI 评分28
大语言模型是否信任其自身解释？功能一致性研究
Do Language Models Trust Their Own Justifications? A Study on Functional Consistency
AI 导读
研究提出基于自一致性的实验框架，通过充分性、全面性和反事实指标评估大语言模型在文本分类任务中解释与其预测行为的功能一致性。 实验在 IMDB 和 Steam 数据集上对 GPT-4o-mini、Gemma3、Granite8B 和 DeepSeek 等闭源与开源模型进行测试，结果显示不同模型家族的解释可靠性存在差异。 该研究为系统化评估大语言模型自解释的功能一致性提供了一种方法论。
来源：arXiv · AI · arxiv.org