arXiv · AI· Benjamin Chang, Dell Zhang·· 10 天前AI 评分34
多智能体筛查:一致性、接受率与漏检率评估机制解析
Multi-Agent Screening: What Agreement and Acceptance Cannot Tell You
AI 导读
多智能体筛查中,各智能体的一致仅证明其达成共识,不能证明判断正确;评估者的接受仅提供精确度及召回率下限。 若已知各智能体发现的相关项且无负相关,可设定召回率上限;不依赖智能体假设时,需随机抽样评估未通过项以估算漏检数。 该方法所需样本量不随智能体数量增加,为高成本人类评估场景提供了统计可靠的漏检率量化方案。
来源:arXiv · AI · arxiv.org