arXiv · NLP· Hafsteinn Einarsson·· 5 小时前AI 评分21
ModernBERT 架构训练冰岛语开放数据编码器：从 12M 到 1B 参数
Beyond IceBERT: Open-Data ModernBERT Encoders for Icelandic from 12M to 1B Parameters
AI 导读
研究基于 ModernBERT 架构在 9B tokens 开放数据上训练了 12M 至 1B 参数规模的冰岛语编码器。1B 模型在全部 11 项评测任务上显著优于 IceBERT，同等参数下性能最佳。
来源：arXiv · NLP · arxiv.org