跳到正文
arXiv · AI· Siyu Zhou, Patrick Vossler, Venkatesh Sivaraman, Yifan Mai, Jean Feng·· 16 小时前AI 评分31

基于SAVI框架的AI系统自适应审计:实现20个观测值的统计严谨结论

Adaptive auditing of AI systems with anytime-valid guarantees

AI 导读

针对生成式AI系统评估成本高且样本量通常仅10至50个的挑战,研究者提出基于Safe Anytime-Valid Inference(SAVI)的假设检验框架。 该框架通过“测试即下注”机制,同时验证模型无失败模式与审计者采样策略两个对偶假设,在保持Type-I错误控制的同时优于预设测试方法。 实证结果显示,该方法在保持统计严谨性的前提下,有时仅需20个观测值即可得出结论。

来源:arXiv · AI · arxiv.org