跳到正文
arXiv · NLP· Anhao Zhao, Haoran Xin, Junlong Tong, Yingqi Fan, Xuan Lu, Ping Nie, Wenjie Li, Xiaoyu Shen·· 2026-10-09AI 评分37

DIAL-OPD:通过更少的 Token 优化在线策略蒸馏

DIAL-OPD: Learning More from Fewer Tokens in On-Policy Distillation

AI 导读

DIAL-OPD 提出一种基于对数均值权重筛选 Token 的在线策略蒸馏方法,仅保留 40% 的 Token 即可超越全量 Token 的 Vanilla OPD。

来源:arXiv · NLP · arxiv.org