arXiv · NLP· Iffat Maab, Waleed Jamil, Raphael Schmitt·· 11 天前AI 评分21
DunbaaBERT:从牺牲到语义,乌尔都语 RoBERTa-base 模型系列
DunbaaBERT: From Sacrifice to Semantics
AI 导读
DunbaaBERT 发布了基于 17 GB 乌尔都语语料库训练的 RoBERTa-base 模型系列,采用 32k、52k 和 96k 的 Byte-BPE 词表。 在内在与下游乌尔都语 NLP 基准测试中,32k 词表版本展现出最强的整体效率优势,且词表增大并非总是能提升下游效果。 所有模型均以 MIT 许可证开源,证明了精心策划的特定语言编码器模型在紧凑规模下仍具备竞争力。
来源:arXiv · NLP · arxiv.org