跳到正文
arXiv · ML· Zitong Huang, Gustavo Lucas Carvalho, Deqing Fu, Robin Jia·· 2026-10-07AI 评分36

Token-Level Off-Policy Labeling: 通过 Token 级离策略学习提升分布偏移下的生成忠实度

Token-Level Off-Policy Learning for Faithful Generation Under Distribution Shift

AI 导读

研究者提出 Token-Level Off-Policy Labeling (TOPL) 框架,将后训练重构为 token 级正确性预测任务。 该方法在 11 个数据集上验证了文档摘要任务中强大的分布外泛化能力,并证实信号可迁移至机器翻译。 消融实验确认 token 级学习信号是关键,其 LoRA 适配器展现出可解释的分类头特性。

来源:arXiv · ML · arxiv.org