跳到正文
Hugging Face Blog·· 2023-05-16AI 评分27

BigCode 大规模近似去重方法

Large-scale Near-deduplication Behind BigCode

AI 导读

BigCode 项目采用 MinHash + LSH 算法对代码数据集进行文档级近似去重,以解决数据重复及基准测试污染问题。去重不仅提升了训练效率,还通过减少数千吉字节数据的存储与传输成本,增强了数据的可访问性。该方法已应用于 BigScience 和 BigCode 数据集,有效降低了模型对训练数据逐字输出的风险。

来源:Hugging Face Blog · huggingface.co