跳到正文
Hugging Face Blog·· 2021-07-15AI 评分44

DeDLOC:Hugging Face 发布基于互联网协作训练语言模型的新方法

Deep Learning over the Internet: Training Language Models Collaboratively

AI 导读

Hugging Face 发布 DeDLOC 方法,通过互联网协作分布训练语言模型。该方法利用 40 名志愿者成功预训练孟加拉语模型 sahajBERT,在下游任务中达到近乎 SOTA 的质量,效果可比拟使用数百台高端加速器的更大模型。

来源:Hugging Face Blog · huggingface.co