arXiv · NLP· Kshitish Ghate, Michael Saxon, Tadayoshi Kohno, Aylin Caliskan·· 21 天前AI 评分42
RoleFUZZER:面向大语言模型角色规范遵循的用户行为模糊测试框架
RoleFUZZER: User-Behaviour Fuzzing for Role-Specification Adherence in Large Language Models
AI 导读
论文提出 RoleFUZZER 框架,将软件测试中的覆盖引导模糊测试应用于 LLM 角色规范评估,通过用户行为模糊测试引导搜索模型违规路径。 框架在 5 种角色规范下的 15 场测试活动中,对 64 单元格行为网格达到 89% 以上覆盖率,且优于自由生成策略。 该方法提供了一种可操作的方式来揭示 LLM 在不同角色规范下的漏洞。
来源:arXiv · NLP · arxiv.org