利用注意力偏差优化 Transformer 计算效率

该研究提出在 Transformer 注意力公式中引入输入相关偏差项，以明确 token 的绝对重要性并实现注意力图剪枝。 这一方法在多种模型尺寸下显著降低了 FLOPs 和推理延迟，同时保留了大部分分类精度。 代码和模型已公开，论文被 WACV 2027 接收。