大语言模型的双重鲁棒对齐方法

针对大语言模型人类反馈强化学习（RLHF）中偏好模型、参考策略或奖励函数误设导致的性能敏感问题，本文提出了一种双重鲁棒偏好优化算法。 该算法在偏好模型或参考策略中任意一个正确设定的情况下即可保持一致性，无需两者同时准确。理论分析与实验均证实，其性能优于当前最先进算法，且对模型误设具有更强的鲁棒性。 该成果已被 NeurIPS 2025 接收，相关代码已公开。