Hugging Face Blog·· 2021-07-15AI 评分44
DeDLOC:Hugging Face 发布基于互联网协作训练语言模型的新方法
Deep Learning over the Internet: Training Language Models Collaboratively
AI 导读
Hugging Face 发布 DeDLOC 方法,通过互联网协作分布训练语言模型。该方法利用 40 名志愿者成功预训练孟加拉语模型 sahajBERT,在下游任务中达到近乎 SOTA 的质量,效果可比拟使用数百台高端加速器的更大模型。
来源:Hugging Face Blog · huggingface.co