arXiv · AI· Jinane Bazzi, Mariam Rakka, Fadi Kurdahi, Mohammed E. Fouda, Ahmed Eltawil·· 8 小时前AI 评分30
EdgeCIM：针对小语言模型推理加速的存算一体硬件软件协同设计
EdgeCIM: A Hardware-Software Co-Design for CIM-Based Acceleration of Small Language Models
AI 导读
EdgeCIM 在 LLaMA3.2 3B（INT4）下吞吐量较 NVIDIA Jetson AGX Orin 高 1.76 倍，较骁龙 X Elite 高 7.07 倍。
来源：arXiv · AI · arxiv.org