跳到正文
热点事件持续更新

研究提出vOPD方法优化大模型在线策略蒸馏

1 篇报道1 个报道来源8 小时前更新

先了解这件事

AI 综述

Minjae Oh等研究者提出了名为vOPD的在线策略蒸馏方法，将在线策略蒸馏视为策略梯度强化学习问题，并引入价值函数作为控制变量基线，旨在降低梯度方差，提升训练稳定性。该方法采用闭式解的逐token反向KL散度作为基线，无需额外的critic模型或推理过程，保持了单样本估计器的轻量与无偏特性。 在数学、科学及指令遵循的基准测试中，vOPD的表现优于基础在线策略蒸馏方法，且性能与高成本的全词表方法持平。这一进展为提升大语言模型蒸馏效率提供了新的技术路径，平衡了计算成本与模型效果。

AI 根据报道生成 · 7 小时前更新

最新进展11月5日 13:00
vOPD：引入控制变量基线稳定大语言模型在线策略蒸馏

报道时间线

沿着报道，了解事件的不同侧面。

11月5日
  1. arXiv · NLP
    vOPD：引入控制变量基线稳定大语言模型在线策略蒸馏

    研究提出vOPD，将在线策略蒸馏（OPD）视为策略梯度强化学习，引入价值函数作为控制变量基线以降低梯度方差。 该方法利用闭式解的逐token反向KL散度作为基线，无需额外critic或推理，保持单样本估计器轻量且无偏。 在数学、科学及指令遵循基准测试中，vOPD性能优于基础OPD，且与高成本全词表方法持平。

本事件热度走势

可比范围当前
8
可比范围峰值
1011月5日 14:00
近 24 小时变化
–

趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。