研究提出C-OPSD在线自蒸馏方法
热点事件持续更新
研究提出C-OPSD在线自蒸馏方法
1 篇报道1 个报道来源11 小时前更新
先了解这件事
AI 综述
研究人员提出正确性过滤在线策略自蒸馏（C-OPSD）方法。该方法针对Qwen3-1.7B、4B和8B模型，在AIME24、AIME25及HMMT25评测中，其性能与全量在线自蒸馏（OPSD）表现持平。 该研究基于梯度测量发现，错误响应中相干梯度占比约为正确响应的三倍，且两者群体均值方向高度重叠。C-OPSD通过生成单一响应并仅对部分错误响应执行蒸馏，在保持生成过程不变的同时优化了计算效率。 实施数据显示，该方法使执行行数减少约68%，训练时间缩短40%，在维持模型性能的前提下显著提升了训练效率，为在线自蒸馏提供了更高效的路径。
AI 根据报道生成 · 3 小时前更新
最新进展10月20日 12:00
Qwen3 系列模型基于正确性过滤的在线策略自蒸馏方法 C-OPSD报道时间线
沿着报道，了解事件的不同侧面。
10月20日
- arXiv · AIQwen3 系列模型基于正确性过滤的在线策略自蒸馏方法 C-OPSD
针对 Qwen3-1.7B 的梯度测量显示，错误响应的相干梯度占比约为正确响应的三倍，且两者群体均值方向高度重叠。 研究人员提出正确性过滤在线策略自蒸馏（C-OPSD），仅对部分错误响应执行蒸馏，在 Qwen3 4B 和 8B 模型及 AIME24、AIME25 评测中性能与全量蒸馏持平。 该实施使执行行数减少约 68%，训练时间缩短 40%，在保持生成过程不变的同时显著提升了计算效率。
本事件热度走势
- 可比范围当前
- 7
- 可比范围峰值
- 810月20日 21:00
- 近 24 小时变化
- –
02468
21:0022:0023:00
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。