子词变体训练延缓模型过拟合

2026年11月4日，一项被收录于EMNLP 2026 Findings的研究发布，探讨子词变体训练对语言模型过拟合的影响。 该研究提出使用非规范子词变体作为数据增强方法，并构建了包含辅助因果编码器的轻量架构。实验表明，在数据受限预训练中，该方法能延缓重复曝光下的过拟合，并降低保留集的下一个词元损失。 研究进一步指出，在多语言微调任务中，此增强手段的增益在规范词元高度压缩时最强；但当分词器过度碎片化时，效果则会出现减弱。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。