arXiv · NLP· Siqi Shen, Lajanugen Logeswaran, Moontae Lee, Honglak Lee, Rada Mihalcea·· 4 小时前AI 评分36
构建数据集与可控对齐模型以解决LLM价值观对齐中的角色冲突
When Personas Become Harmful: Guiding LLMs with Global Citizenship Values Alignment
AI 导读
针对角色驱动请求的隐蔽危害，研究构建了包含11k个争议话题及基于Schwartz价值调查维度的人设的数据集。 通过代理管线在已对齐商业LLM中收集有害响应，成功率超过47%；引入UNESCO全球公民原则作为判断基准，并开发了允许用户在推理时平衡人设遵循与安全性的可控对齐模型。 新模型在大多数样本上比基线更安全且更遵循人设，论文已被EMNLP 2026接收。
来源：arXiv · NLP · arxiv.org