arXiv · NLP· Lauri Pyk\"al\"a, Kimmo K. Kaski·· 4 小时前AI 评分20
重复提示下商用 Deep Research 系统实体与引用自一致性分析
Self-Consistency of Entity Sets and Citations in a Deep Research System under Repeated Prompting
AI 导读
一项针对商用深度研究系统的实验发现，重复提示下实体与引用的自一致性极低。 在 10 次重复运行中，实体 Jaccard 中位数为 0.12，引用 Jaccard 低于 0.02，且发现曲线未明显饱和。 研究显示自一致性是底层实体空间的函数，而非系统固有属性。
来源：arXiv · NLP · arxiv.org