arXiv · ML· Sergey Salishev, Zeev Volkovich, Oleg Granichin·· 29 天前AI 评分32
Transformer 精确编译为通用深度网络:消除激活积的成本与多智能体注意力聚类
Transformers as Generic Deep Neural Networks: Exact Compilation, the Cost of Removing Activation-Activation Products, and Multi-Agent Attention Clustering
AI 导读
研究证明 Transformer 块可精确编译为通用深度神经网络。在 DeiT-Tiny 等模型上,该编译模型与参考模型表现一致。多智能体注意力聚类将计算分数数量从 N² 降至 Nk。
来源:arXiv · ML · arxiv.org