跳到正文
arXiv · NLP· Konstantinos Perifanos, Anne Laure Poite, Giannis Tsilikas, Ilias Katis, Stavros Deligiannidis, Dionysis Goutsos·· 10 天前AI 评分23

从头预训练 500M 和 1B 参数解码器专用希腊语紧凑语言模型

Compact Greek Language Models from Scratch: Pretraining 500M- and 1B-Parameter Decoder-Only Transformers

AI 导读

两个从头训练、仅基于希腊语文本的解码器专用语言模型发布:LexisLM-1B(1.09B 参数)和 LexisLM-500M(502M 参数)。

来源:arXiv · NLP · arxiv.org