斯坦福研究发现 44% 的 LLM 结论已失效

斯坦福大学研究人员 Owen Queen 和 James Zou 开展了一项研究，将 50 项被广泛引用的关于大语言模型（LLM）的结论与 20 个模型进行了重新测试。测试结果显示，这 50 项结论中有 44% 已经失效（expired）。 这些已失效结论的平均“寿命”仅为 15.7 个月，表明 LLM 领域的研究结论有效期极短。在具体的技术指标方面，不同模型的表现差异显著。例如，幻觉率从 GPT-3.5 的 55% 下降至 GPT-6.1 Sol 的 0%，但部分模型如 Qwen3.7-Flash 的幻觉率仍高达 69%。面对结论的快速过期，研究者建议应将 LLM 的研究结论视为特定时点的观察结果，并记录具体的模型版本与测试日期。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。