跳到正文
arXiv · NLP· Ding Zhu, Xiukun Wei, Tian Xie, Zhihui Zhu, Xueru Zhang, Mohammad Mahdi Khalili·· 10 天前AI 评分30

PORT:基于鲁棒 Token 级重加权的偏好优化方法

PORT: Preference Optimization via Robust Token-Level Reweighting

AI 导读

PORT 提出一种 token 级鲁棒偏好优化框架,解决偏好数据噪声对齐问题。 通过 token 对数概率的经验累积分布函数进行重加权,仅前向传播即可抑制损坏 token。

来源:arXiv · NLP · arxiv.org