arXiv · ML· Jonathan Tapson·· 5 小时前AI 评分21
量化权重点积计算新架构：解码与乘法仅执行一次
Decode Late, Multiply Once: Rethinking the Dot Product for Quantized Weights
AI 导读
提出一种针对1-4位权重与大神经网络的点积计算优化架构。该架构将乘法次数从每元素一次降低至仅2^k次，且无需形成完整解码权重向量。 其核心采用散列累加处理单元（SA-PE），可替代传统MAC单元，使本地权重内存最大缩小w_d/k倍。RTL实现表明，该节省需在处理单元间共享乘法器时才能体现。
来源：arXiv · ML · arxiv.org