arXiv · AI· Suwan Wu, Yumeng Lin, Pengcheng Yuan, Xiaolong Jiang·· 1 天前AI 评分21
用于在线策略蒸馏的统一逐Token门控族：FKL/RKL混合与多通道及偏差系数
A Unified Per-Token Gating Family for On-Policy Distillation: FKL/RKL Mixing with Multi-Channel and Bias Coefficients
AI 导读
提出包含四个系数的逐Token门控参数化方法，统一了EOPD和ToDi的单一信号限制。 使用Qwen3-32B教师模型和Qwen3-4B学生模型在TweetEval数据集上进行验证。 该参数化体系主要用于比较在线策略蒸馏中短文本分类任务的门控设计。
来源：arXiv · AI · arxiv.org