跳到正文
IT之家·· 5 小时前AI 评分74

百度文心开源发布 ERNIE 5.5 Flash Base 高效基座模型,总参数 280B

AI 导读

百度文心大模型开源发布 ERNIE 5.5 Flash Base,总参数 280B,采用稀疏 MoE 架构,每 token 激活 14B,在 33.5T tokens 上完成预训练,最长训练上下文为 128K,微调与推理支持 1M tokens 上下文。

来源:IT之家 · ithome.com