arXiv · NLP· Adrian Cosma, Stefan Ruseti, Emilian Radoi, Mihai Dascalu·· 5 小时前AI 评分25
使用子词变体训练可延缓重复数据语言模型中的过拟合
Training with Subword Variants Delays Overfitting in Repeated-Data Language Modeling
AI 导读
该研究提出使用非规范子词变体作为严格保义的数据增强方法，并构建了基于辅助因果编码器和块因果交叉注意力的轻量训练架构。 在数据受限的预训练中，该增强方法延缓了重复数据曝光下的过拟合，并降低了保留集上的下一个词元损失；在多语言微调中，当规范词元高度压缩时增益最强，而分词器过度碎片化时效果减弱。 该研究已被收录于 Findings of EMNLP 2026。
来源：arXiv · NLP · arxiv.org