Perseus同态推理库实现Llama-3-8B加速
热点事件持续更新
Perseus同态推理库实现Llama-3-8B加速
1 篇报道1 个报道来源12 小时前更新
先了解这件事
AI 综述
Alessandro Zirilli等研究人员发布了名为Perseus的开源Python库，该库支持全栈加密模型推理，涵盖加密后端、数据打包至端到端执行。 Perseus在堆栈各层级集成了新颖优化，实现了跨多模型与模态的最先进延迟，且准确率保持在明文模型的3%以内。 在Llama-3-8B模型上，Perseus的单token解码速度比其他实现快3.96倍，同时保持97%以上的明文模型精度。
AI 根据报道生成 · 3 小时前更新
最新进展11月4日 13:00
Perseus 实现 Llama-3-8B 同态模型推理 3.96 倍加速报道时间线
沿着报道，了解事件的不同侧面。
11月4日
- arXiv · AIPerseus 实现 Llama-3-8B 同态模型推理 3.96 倍加速
Perseus 开源库实现同态模型推理，在 Llama-3-8B 单 token 解码速度达 3.96 倍 SOTA。 支持加密非线性及端到端执行，精度保持明文模型 97% 以上。
本事件热度走势
- 可比范围当前
- 7
- 可比范围峰值
- 811月4日 23:00
- 近 24 小时变化
- –
02468
23:0011月5日01:00
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。