arXiv · NLP· Brianne Lee·· 5 小时前AI 评分28
六个前沿语言模型将17岁答案误判为成年人的行为案例研究
Which Answer Did the Seventeen-Year-Old Write? A Behavioral Case Study of Author-Age Misattribution, Miscalibrated Confidence, and Non-Corrective Self-Explanation in Six Frontier Language Models
AI 导读
在针对Claude Fable 5、GPT-5.6 Sol等六个前沿模型的测试中，模型将17岁学生的“幸福”答案误归为成年人的比例高达90%。 研究共运行1081次API会话并评分3225个响应。在1/3的随机猜测水平下，模型的平均置信度却高达73%-88%，且移除选项脚手架后准确率进一步崩溃。 数据、代码和原始模型输出已公开，揭示了自信校准错误与非修正性自我解释的机制。
来源：arXiv · NLP · arxiv.org