Xiang Li等提出跨预算自蒸馏方法HiLo-RD

Xiang Li等人提出并验证了HiLo-RD（高到低预算表示蒸馏）方法，旨在改进受限生成预算下的掩码扩散语言模型。该方法通过跨预算自蒸馏，解决因预算限制引发的过早承诺问题。 HiLo-RD方法将大窗口教师状态与裁剪的小窗口视图进行配对，通过匹配已提交位置的隐藏表示，无需外部教师即可指导token预测与提交顺序。这一机制优化了模型在低预算环境下的推理路径。 实验结果显示，在GSM8K数据集上，该方法使准确率提升9.4个百分点，平均可读长度缩短约25%。此外，在无需代码领域训练的情况下，该方法的性能优势成功延伸至代码生成领域。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。