arXiv · NLP· Mohammad Fahes, Cordelia Schmid, Anurag Arnab·· 2026-10-14AI 评分23
Soft Teacher Forcing:结合软 token 提升监督微调效果
Soft Teacher Forcing
AI 导读
Soft-TF 通过随机凸组合将 teacher-forced 嵌入与软 token 结合,在不增加参数、外部模型或课程学习的情况下改进监督微调(SFT)。 该方法在单个并行前向传播中计算软 token,推理过程保持不变。 在 GSM8K、MATH、MathQA 和 AQuA 基准上,跨七个 Gemma、Llama 和 Mistral 模型,GSM8K 提升 2.1 至 4.1 分。
来源:arXiv · NLP · arxiv.org