arXiv · ML· Yuchen Li, Zongqi Fan, Xintong Li, Nguyen H. Tran, Ken-Tye Yong·· 13 小时前AI 评分50
如何将注意力神经网络转化为可解释的硬逻辑谓词电路:真值表谓词提取与忒修斯船式替换下的状态机合并
How to Turn an Attention Neural Network into an Interpretable Hard-Logic Predicate Circuit: Truth-Table Predicate Extraction and State-Machine Merging under Ship-of-Theseus Replacement
AI 导读
研究将 DistilGPT2 和 BERT-base 整体转换为硬逻辑谓词电路,无需乘法器或权重传输。电路在 TweetEval-emotion 上准确率分别为 66.5% 和 70.0%,低于教师模型但高于词袋基线。 电路分类单条推文耗时 1-2 微秒,比 GPU 推理快 2-3 个数量级,功耗 7.5-15 W,硬件描述可逐位复现。
来源:arXiv · ML · arxiv.org