arXiv · ML· Zhen Gao, Xiao Yin, Kexin Liang, Pedro Reviriego, Shanshan Liu, Fabrizio Lombardi·· 12 小时前AI 评分27
基于 PIES 保护机制的二值 Transformer 近似内存可靠性研究
Implementing Binary Transformers with Approximate Memories with Permutation Invariance Enabled Selective (PIES) Protection
AI 导读
研究提出 PIES 方案以极低开销保护二值 Transformer 权重,恢复 BER 高达 10% 时的精度损失。 PIES 利用 Transformer 行列置换不变性对关键权重分组保护,开销远低于传统纠错;代码已在 GitHub 开源。 研究确认了在资源受限边缘设备上使用近似内存和激进电压缩放运行二值 Transformer 的可行性。
来源:arXiv · ML · arxiv.org