arXiv · NLP· Ding Zhu, Xiukun Wei, Tian Xie, Zhihui Zhu, Xueru Zhang, Mohammad Mahdi Khalili·· 10 天前AI 评分30
PORT:基于鲁棒 Token 级重加权的偏好优化方法
PORT: Preference Optimization via Robust Token-Level Reweighting
AI 导读
PORT 提出一种 token 级鲁棒偏好优化框架,解决偏好数据噪声对齐问题。 通过 token 对数概率的经验累积分布函数进行重加权,仅前向传播即可抑制损坏 token。
来源:arXiv · NLP · arxiv.org