跳到正文
智东西· 王涵·· 27 天前AI 评分69

StartLux 开源决策模型推理引擎 Prism,推理速度最高提升 5.3 倍

DeepSeek之后,StartLux再来:开源首个决策模型推理引擎,推理快至5.3倍

AI 导读

国内 AI 团队 StartLux 开源了首个专门面向决策模型的推理引擎 Prism,在单张 H200 显卡上实测最快比原方案提速 5.3 倍。Prism 通过收敛输出计算范围、引入森林式计算结构、采用整数运算以及混排调度机制解决推理效率难题,单题平均延迟仅为 41 毫秒,在 231 道测试题中排名第一。

来源:智东西 · mp.weixin.qq.com