智东西· 三北·· 2 小时前同新闻AI 评分80
百度开源文心5.5 Flash Base：280B总参数14B激活，同尺寸SOTA并支持1M上下文
280B总参数、14B激活！百度开源文心5.5 Flash Base，拿下同尺寸SOTA
AI 导读
百度发布并开源文心5.5 Flash Base（ERNIE-5.5-Flash-Base）。该模型采用稀疏MoE架构，总参数280B，每token激活14B参数，基于33.5T tokens预训练，最长训练上下文128K，微调与推理支持1M tokens上下文。
同一新闻，精选展示《百度开源文心 5.5 Flash Base 基模，主打效率与创新架构》
来源：智东西 · mp.weixin.qq.com