Hugging Face Blog·· 2023-05-16AI 评分27
BigCode 大规模近似去重方法
Large-scale Near-deduplication Behind BigCode
AI 导读
BigCode 项目采用 MinHash + LSH 算法对代码数据集进行文档级近似去重,以解决数据重复及基准测试污染问题。去重不仅提升了训练效率,还通过减少数千吉字节数据的存储与传输成本,增强了数据的可访问性。该方法已应用于 BigScience 和 BigCode 数据集,有效降低了模型对训练数据逐字输出的风险。
来源:Hugging Face Blog · huggingface.co