Qistas: 一种面向大语言模型公平性评估的预注册便携协议

Qistas 协议针对大语言模型提出公平性评估方案，首个实例化为伊拉克社会场景。该协议测量程序对称性、差异拒绝及刻板印象依赖，采用配对统计方法。其 58 项种子库测试中 24 个模板组未通过检查，揭示了反事实基准的通用缺陷。 作为预注册协议论文，Qistas 固定了假设、指标及分析计划，但尚未评估具体模型。作者指出该缺陷模式是公平性基准的普遍风险，而非仅针对单一社会。