对齐语言模型以实现反事实不变性

研究发现标准模型对齐方法（如强化学习）会加剧人口统计学变量间的反事实偏差。 提出一种基于匹配反事实提示对的组级奖励策略梯度技术，并构建了控制反事实提示对数据集及独立评估相关性的评测方案。 该方法在保持整体响应质量的同时减少反事实差异，且在敏感信息因果相关时模型仍能适当适应。