Cerium 开源多GPU加密推理框架

1. 12:00
   arXiv · AI

   Cerium 开源多 GPU 框架实现 TB 级加密推理，性能媲美 FHE ASIC

   Cerium 是一款开源多 GPU 框架，支持 TB 级加密推理，性能媲美 CraterLake ASIC，比手写 GPU 库快 2.25 倍。 它首个将 CKKS 引导加速至 7.5ms，并首次实现 BERT-Base 和 Llama3-8B 的 8s 与 43s 加密预填充推理。

趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。