极端稀疏监督显著提升大模型推理能力

2026年10月3日，机器之心报道了亚马逊与杜克大学的最新研究。该研究表明，在大模型后训练阶段，保留极少量 token 的梯度信号即可提升推理能力。 实验在 Qwen3 系列模型上进行，仅随机保留 0.025% 的 token 进行监督。结果显示，学生模型的推理性能不仅未下降，反而超过全信号训练及教师模型。该机制在代码推理、Llama 系列及 RLVR 场景中得到验证，且仅更新了 10% 的网络参数。

AI 根据报道生成 · 3 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。