跳到正文
arXiv · NLP· Pedro Carvalho Brom·· 21 天前AI 评分38

在家自研小语言模型:单张消费级 GPU 训练自回归与掩码扩散架构以处理葡萄牙语任务

Homebrewed SLMs: Autoregressive and Masked Diffusion Language Models Built at Home for Portuguese

AI 导读

研究者在单张消费级 GPU 上从零训练 11M 至 12M 参数的小语言模型,发布了包含自回归与掩码扩散两种生成模式的 Python 包。 在巴西葡萄牙语及联邦法律文本上,掩码扩散模式在 256 个 epoch 达到最优,表现优于自回归模式,并在补全交叉引用方面击败 160M 和 630M 参数模型。 该研究提供了经过预注册的对比协议和参考基准数据,验证了在家构建专业领域小模型的可行性。

来源:arXiv · NLP · arxiv.org