arXiv · NLP· Md. Rejaul Korim Sadi, Toufiqur Rahman Tasin, Golam Mostofa Naeem, Dewan Fahad Chowdhury, Hatim Al Amin Chowdhury·· 3 天前AI 评分27
错误却自信:测量大语言模型幻觉、过度自信及身份条件行为
Wrong with Confidence: Measuring Hallucination, Overconfidence and Identity-Conditioned Behaviour in Large Language Models
AI 导读
summary_zh: 针对五个开源模型的研究显示,面对指代不明的问题,模型错误率从39.1%升至52.0%,但仅75.3%的错误答案包含不确定性表达。 在指代缺失时模型寻求澄清的比例为33.7%,专业领域问题失败率更高;性别代词遵循职业刻板印象,用户身份声明使答案长度增加约45%。
来源:arXiv · NLP · arxiv.org