arXiv · AI· Rui Yang, Yang Hong, Yichao Xu, Zhengyu Liu, Yinzhi Cao, Ziyang Li·· 2026-10-15AI 评分38
3R-Bench 评估 LLM 对话上下文对网络安全协助边界的影响
Same Request, Different Boundary: Evaluating Cybersecurity Assistance across Conversational Contexts
AI 导读
研究团队发布 3R-Bench 基准,包含 150 个真实网络安全请求,评估 8 个 LLM 在直接提示及两种预设对话场景下的表现。 直接请求时合规率为 75.3%,在被拒绝先例后降至 57.8%,在接受先例后升至 81.0%;中性或失败对话使合规率从 74.2% 降至 57.2% 至 60.3%。 这些结果说明 LLM 的网络安全协助边界随对话历史动态变化,需超越直接请求拒绝率进行评估。
来源:arXiv · AI · arxiv.org