跳到正文
arXiv · AI· William Caban·· 1 天前AI 评分40

Agentic AI 评估中效度问题的复合可靠性危机

Measurement Without Validity: The Compounding Reliability Problem in Agentic AI Evaluation

AI 导读

研究提出三层复合效度模型,指出 Agentic AI 评估管线存在 V_total ≤ V1 × V2 × V3 的乘数级退化风险。 调查 55 篇文献发现 26 篇未报告机会校正的评分者间一致性指标,约 80% 样本的 IRR 指标与评分设计结构不匹配,且 V3 层目前在所有基准中均不可量化。

来源:arXiv · AI · arxiv.org