EdgeCIM存算一体框架加速小模型端侧推理

EdgeCIM是一个面向小语言模型（SLM）端侧推理加速的存算一体（CIM）硬件软件协同设计框架，旨在解决延迟敏感应用中的自回归解码瓶颈。 该框架包含一个设计空间探索模拟器，支持对40亿参数以内的SLM进行硬件配置优化，目标函数可调节，以平衡推理延迟与能耗。 性能评测显示，在LLaMA3.2 3B（INT4量化）模型上，EdgeCIM的吞吐量较NVIDIA Jetson AGX Orin提升1.76倍，较骁龙X Elite提升7.07倍。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。