蚂蚁开源· inclusionAI·· 4 天前精选AI 评分68
蚂蚁百灵开源 Ling-3.1-flash 模型
Ling-3.1-flash 正式开源：让真实业务需求更快变成可用成果
AI 导读
蚂蚁百灵正式开源 Ling-3.1-flash，该模型总参数约 560B，每个 Token 激活约 25B，最高支持 1M 上下文。在 Hopper GPU 部署中，通过量化将权重占用降至 292GB，服务部署从 8 卡降至 4 卡，在 4 卡配置下平均吞吐约为 1.36 QPS。
推荐理由
原文给出了560B参数规模与4卡部署细节，读者可以据此判断该模型在低成本硬件上落地的可行性。
来源：蚂蚁开源 · mp.weixin.qq.com