跳到正文
arXiv · NLP· Shiping Yang, Chuanqi Tang, Hossein Hajimirsadeghi, Layla El Asri, Mohammad Amin Shabani, Angel X. Chang·· 21 天前AI 评分33

蒸馏不确定性的形状:On-Policy Distillation 学习什么以及如何预测

Distilling the Shape of Uncertainty: What On-Policy Distillation Learns and How to Predict It

AI 导读

On-Policy Distillation(OPD)不仅学习“如何分支”(考虑哪些候选 token),还学习“哪里分支”(保持推理路径开放的位置)。 现有 token-overlap 指标仅捕捉前者。

来源:arXiv · NLP · arxiv.org