跳到正文
量子位· 量子位的朋友们·· 10 天前精选AI 评分74

百度文心披露 RSI 系统 ERNIE Evolve 进展及推理优化成果

百度文心首次披露RSI进展:ERNIE Evolve已用于最新模型研发,文心5.5 Flash 或将近期发布

AI 导读

百度文心披露自动研究系统 ERNIE Evolve 进展,该系统已用于文心 5.5 Flash 的推理优化。在昆仑芯 P800 低时延场景中,优化后生成速度提升至基线的 623.6%;确定性推理吞吐优化使平均每 token 生成时间缩短 26%;极致解码速度优化将推理性能累计提升至基线的 114.9%。此外,百度近期已开源文心 5.5 Flash Base,新模型或将于近期发布。

推荐理由

文心团队展示了 RSI 在推理优化中的实际收益,读者可参考其双层循环架构及生产级验证逻辑。

来源:量子位 · qbitai.com