跳到正文
arXiv · AI· Linru Zhang, Xiangning Wang, Jun Jie Sim, Zhicong Huang, Jiahao Zhong, Huaxiong Wang, Pu Duan, Kwok-Yan Lam·· 9 天前AI 评分28

MOAI:非交互式安全 Transformer 推理的模块优化架构

MOAI: Module-Optimizing Architecture for non-interactive secure transformer Inference

AI 导读

提出 MOAI 框架,通过列与对角线打包及免旋转算法,在 BERT-base 推理中实现比 SOTA 低 1.7 倍以上的 HE 旋转次数。 结合 Softmax 和 LayerNorm 优化,较 THOR 减少 52.8% 评估时间,单 GPU 单输入摊销耗时 2.36 分钟,代码已开源。

来源:arXiv · AI · arxiv.org