跳到正文
arXiv · ML· Zhen-Yu Zhang, Jerry Huang, Gang Niu, Takashi Ishida, Masashi Sugiyama·· 2 天前AI 评分28

MPG-DPO:利用多维用户偏好数据实现大语言模型对齐的高效个性化

Sample-efficient Personalization of Large Language Model Alignment with Multidimensional User Preference Data

AI 导读

论文提出多维偏好引导在线直接偏好优化(MPG-DPO),利用低成本多维评估构建个性化偏好锥体以指导响应选择,在匹配查询预算下优于现有方法。 该方法首先剔除在用户偏好下被确信支配的响应,再选取保留锥体下具有最强未解决分歧的竞争性响应对,理论分析表明查询浪费随学习进行消失。

来源:arXiv · ML · arxiv.org