PARED 通过逆向强化学习从专家演示中学习显式奖励以对齐 AI

PARED 利用轻量判别器在特征空间中分离专家演示与策略样本，从少量演示中学习可解释的显式奖励。 该方法在推理时重排序和对抗性在线策略强化学习中取得改进，支持从无 SFT 阶段的基座模型起步或进一步优化 SFT 训练后的模型，并能用于根据受众偏好调整响应的上下文对齐。