跳到正文
arXiv · AI· Oktie Hassanzadeh, Dharmashankar Subramanian·· 2026-10-12AI 评分29

语义查询处理中同一查询不同回答的运行间方差研究

Same Query, Different Answer: Run-to-Run Variance in Semantic Query Processing

AI 导读

研究人员通过重跑 SemBench 等基准测试,发现即使在温度 0 下,0.07% 至 10.2% 的行输出会因多次执行而改变。 研究记录了 120 万次模型调用,发现 UDA-Bench 中约三分之二的最终答案发生变化。 该方差影响了基准比较的有效性,文章据此推导了新的基准报告规则。

来源:arXiv · AI · arxiv.org