跳到正文
arXiv · NLP· Suxin Ji, Hungtao Wan·· 10 天前AI 评分34

TLRS-DPO:通过 token 级风险评分优化直接偏好优化

TLRS-DPO: Token-Level Risk Scoring for Better Direct Preference Optimization

AI 导读

提出 TLRS-DPO 方法,在离线 DPO 框架中引入 token 级控制以精准抑制不安全回复中的局部模式。 该方法包含 token 级鲁棒补偿项、课程式训练调度及风险自适应筛选机制,可作为标准 DPO 训练器的即插即用修改。 实验表明,TLRS-DPO 在强 DPO 基线之上提升了模型对齐质量与安全行为,且对 helpfulness 影响极小。

来源:arXiv · NLP · arxiv.org