arXiv · AI· Siddharth Jayashankar, Joshua Kim, Michael B. Sullivan, Wenting Zheng, Dimitrios Skarlatos·· 14 小时前AI 评分23
Cerium 开源多 GPU 框架实现 TB 级加密推理，性能媲美 FHE ASIC
Cerium: A Multi-GPU Framework for Terabyte-Scale Encrypted Inference
AI 导读
Cerium 是一款开源多 GPU 框架，支持 TB 级加密推理，性能媲美 CraterLake ASIC，比手写 GPU 库快 2.25 倍。 它首个将 CKKS 引导加速至 7.5ms，并首次实现 BERT-Base 和 Llama3-8B 的 8s 与 43s 加密预填充推理。
来源：arXiv · AI · arxiv.org