跳到正文
arXiv · AI· Carolina Fortuna, Blaz Bertalanic·· 7 天前AI 评分24

共享项级误差限制小语言模型在费米估算中的聚合效果

Shared Item-Level Error Limits the Aggregation of Small Language Models in Fermi Estimation

AI 导读

研究分解 15 个开源模型在 realFP 等基准上 2.51M 次回答的误差,发现共享项级误差占总误差方差中位数的 0.906。 30 人团队仅将单代理误差降低中位数 1.7%,远低于理论独立抽样预期的 74-79% 降幅。 该限制说明多智能体简单平均难以抵消共享偏差,需针对性校准。

来源:arXiv · AI · arxiv.org