arXiv · NLP· Sangmin Lee, Sangwon Lee, Sungbeom Choi, Jeeseung Park, Kibeom Myoung·· 21 天前AI 评分35
LLMs Persona User Simulation and Knowledge Leakage Measurement
Can LLMs Ignore What They Know? Measuring Knowledge Leakage in Persona-Based User Simulation
AI 导读
研究表明 LLMs 在人设模拟中存在知识泄漏,即使显式声明人设不知情,有利项目的评分差异依然存在。 实验涵盖两个模型家族的五个 API 端点,不利项目跨领域评分差值为 +0.077,但在危害与组织类别中分别达到 -0.359 和 +0.438。 该方法通过配对真实与虚构孪生项目量化泄漏,揭示了模型无法完全屏蔽对特定项目存在性的先验知识。
来源:arXiv · NLP · arxiv.org