跳到正文
arXiv · NLP· Iffat Maab, Waleed Jamil, Raphael Schmitt·· 11 天前AI 评分21

DunbaaBERT:从牺牲到语义,乌尔都语 RoBERTa-base 模型系列

DunbaaBERT: From Sacrifice to Semantics

AI 导读

DunbaaBERT 发布了基于 17 GB 乌尔都语语料库训练的 RoBERTa-base 模型系列,采用 32k、52k 和 96k 的 Byte-BPE 词表。 在内在与下游乌尔都语 NLP 基准测试中,32k 词表版本展现出最强的整体效率优势,且词表增大并非总是能提升下游效果。 所有模型均以 MIT 许可证开源,证明了精心策划的特定语言编码器模型在紧凑规模下仍具备竞争力。

来源:arXiv · NLP · arxiv.org