arXiv · AI· Duc Anh Vu, Thong Nguyen, Hoang Pham, Ponhvoan Srey, Luu Anh Tuan·· 8 小时前AI 评分29
OGC-DPO：面向多目标对齐的主动偏好学习框架
Objective-Conditioned Active Preference Learning for Multi-Objective Alignment
AI 导读
OGC-DPO 提出一种主动学习框架，将每个（响应配对，目标）组合视为独立查询，通过策略自身隐式梯度衡量信息量。 该方法在无需外部奖励模型的情况下，选择能最大程度扩展各目标梯度覆盖率的查询。 实验表明其在相同标注成本下优于现有方法，并证实信息性冲突对策略训练具有积极作用。
来源：arXiv · AI · arxiv.org