Hugging Face Blog·· 2023-08-02AI 评分38
Zama 展示基于全同态加密的大语言模型加密推理
Towards Encrypted Large Language Models with FHE
AI 导读
Zama 利用全同态加密技术实现 GPT2 模型的加密推理,在保护用户数据隐私的同时防止模型知识产权泄露。通过 Hugging Face Transformers 库和 Concrete-Python 改造 GPT2 的注意力机制,4 比特量化方案在约 80 句数据集上保留了 96% 的原始准确率。
来源:Hugging Face Blog · huggingface.co