arXiv · NLP· MNN Team·· 10 天前AI 评分39
MNN-Pocket-0.3B 技术报告发布
MNN-Pocket-0.3B Technical Report
AI 导读
MNN-Pocket-0.3B 开源发布,这是专为端侧部署设计的 3 亿参数稠密语言模型。 该模型支持 32K 上下文,INT4 部署体积仅 173MB,在 iPad Pro M5 上解码吞吐量达 466 tokens/s。 基于约 4.1 万亿中英文 token 预训练,其在同类开源模型中表现领先,并优于部分 0.5B 参数模型。
来源:arXiv · NLP · arxiv.org