跳到正文
arXiv · NLP· Hobin Kim, Xiaoyuan Wu, Omer Akgul, Lujo Bauer, Nicolas Christin·· 7 天前AI 评分31

基于WildChat数据集的用户LLM安全隐私提问分析与商用模型质量评估

Security and Privacy Prompts in the Wild: What Users Ask LLMs and How LLMs Respond

AI 导读

研究分析了WildChat数据集中14,727条安全隐私提示,发现GPT 5.5在98%的提示下提供“足够好”的回答,显著优于Llama 4的47%表现。 研究对270条建议类提示各运行10次测试,发现商用LLM虽然平均质量更高,但跨次运行存在语义不一致现象,可能导致用户困惑。

来源:arXiv · NLP · arxiv.org