跳到正文
arXiv · AI· Kausar Moshood, Jace Bolante, Roshan Aditya Murali, Manish Motwani·· 2026-10-14AI 评分42

LEST:基于规范的大语言模型安全行为测试框架

Specification-Based Testing of Large Language Models

AI 导读

研究者提出 LEST 框架,将 LLM 文档化的安全声明转化为黑盒测试规范,通过变异提示词寻找反例。在针对 Claude Opus 4.8 和 GPT-5.5 的评估中,使用 SORRY-Bench 等 97 条种子提示,自动筛选出 312 个候选反例,但人工验证仅确认 19 个有效。 该框架实现了从自然语言文档到可执行测试及反例的全链路追溯,证明现有基准提示不足以下述所有文档安全行为。

来源:arXiv · AI · arxiv.org