arXiv · NLP· Ansar Aynetdinov, Patrick Haller, Alan Akbik·· 3 小时前AI 评分26
德语建模中高质量数据重复训练优于多样化单遍训练
Repetition over Diversity: High-Signal Data Filtering for Sample-Efficient German Language Modeling
AI 导读
研究显示，对 500M 德语网络文档应用层级质量过滤器后，重复训练高质量子集的效果优于在多样化语料库上进行单遍训练。这种性能优势在 7 个 epoch 后依然显著，且模型名为 Boldt，训练 token 数量比可比模型少 10-360 倍，却达到最先进结果。
来源：arXiv · NLP · arxiv.org