arXiv · NLP· Anhao Zhao, Haoran Xin, Junlong Tong, Yingqi Fan, Xuan Lu, Ping Nie, Wenjie Li, Xiaoyu Shen·· 2026-10-09AI 评分37
DIAL-OPD:通过更少的 Token 优化在线策略蒸馏
DIAL-OPD: Learning More from Fewer Tokens in On-Policy Distillation
AI 导读
DIAL-OPD 提出一种基于对数均值权重筛选 Token 的在线策略蒸馏方法,仅保留 40% 的 Token 即可超越全量 Token 的 Vanilla OPD。
来源:arXiv · NLP · arxiv.org