跳到正文
arXiv · NLP· Guy Zyskind·· 12 小时前AI 评分22

语言模型使新研究听起来过时:LLM 夸大已有文献覆盖范围

Language Models Make New Research Sound Old

AI 导读

研究发现 LLM 常使开放研究问题显得部分已研究,夸大相关论文结论。在 40 个新问题中,GPT-6-Astra 98% 准确判断未研究,但普通回答仅 8% 明确表达该状态。 所有 6 个前沿模型存在 30-90 个百分点的报告差距,能力越高差距越大。通过结合模型判断与独立检查引文论文,Astra 的开放状态清晰报告率从 8% 升至 95%。

来源:arXiv · NLP · arxiv.org