研究揭示重复提示下商用深研系统自一致性极低

Lauri Pykälä 和 Kimmo K. Kaski 近期发表了一篇关于商用深度研究系统的实验论文。研究人员针对单个开放性的网络安全相关提示词进行了 10 次重复运行测试。实验量化了检索与合成输出结构在相同提示下的稳定性。 结果显示，系统在处理重复提示时，实体与引用的自一致性极低。具体数据表明，实体 Jaccard 中位数为 0.12，引用 Jaccard 低于 0.02。进一步分析发现，一致性曲线并未明显饱和，表明随运行次数增加稳定性并未显著提升。 研究指出，系统的自一致性实际上是底层实体空间的函数，而非系统固有的属性。这一发现揭示了当前商用深研系统在结果稳定性方面的局限，为后续优化提供了量化依据。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。