跳到正文
arXiv · AI· Jianchang Su, Dawei Xiang, Yifan Zhang, Wei Zhang·· 2026-10-16AI 评分45

DIB-Bench 揭示 LLM 评估中的部署完整性盲区

Stronger Judges Do Not See More: Deployment-Integrity Blindness in LLM Evaluation

AI 导读

新基准 DIB-Bench 揭示 LLM 评估存在部署完整性盲区,7,560 个样本显示评估器越强,接受被篡改输出的比例越高。 规则基评估器接受率为 88.6%,GPT-5-nano 升至 94.1%;触发条件篡改在评估套件中不可见,却能产生 48-100% 有害输出。 基于 PAC 界的证明表明,零输出偏移的篡改无法仅凭输出检测,需依赖清单哈希身份通道。

来源:arXiv · AI · arxiv.org