arXiv · AI· Alessandro Zirilli, Davide Marincione, Evgenios M. Kornaropoulos, Giuseppe Ateniese, Emanuele Rodol\`a·· 13 小时前AI 评分28
Perseus 实现 Llama-3-8B 同态模型推理 3.96 倍加速
Perseus: A Full-Stack System for Homomorphic Model Inference
AI 导读
Perseus 开源库实现同态模型推理，在 Llama-3-8B 单 token 解码速度达 3.96 倍 SOTA。 支持加密非线性及端到端执行，精度保持明文模型 97% 以上。
来源：arXiv · AI · arxiv.org