跳到正文
arXiv · NLP· Wesley Kambale, Roland Sankara·· 8 小时前AI 评分25

Pearl-Chat:基于JAX和Flax NNX构建的原生Luganda语8.5M参数因果解码器

Pearl-Chat: Engineering a native Luganda language model from first principles in JAX and Flax NNX

AI 导读

研究团队发布Pearl-Chat,一款针对Luganda语设计的8,473,122参数因果解码器。该模型采用JAX和Flax NNX框架构建,并训练出词表大小为8,192的BPE分词器,实现1.60 tokens/word的生成率。

来源:arXiv · NLP · arxiv.org