跳到正文
arXiv · AI· Michael Schroeder·· 12 小时前AI 评分35

EfficientNet-B0 混合骨干网络中全局注意力与权重复用的有效性分析

Where Global Context and Weight Sharing Work in Compact Vision Backbones

AI 导读

EfficientNet-B0 实验显示,在 P3-P5 阶段插入零门控自注意力适配器可使 ImageNet-1k 准确率提升 0.954 点至 74.02%。 注意力振幅随语义深度单调上升,P5 阶段达 66.3%。 交替双模板权重复用减少 10.9% 参数,单轮训练后准确率恢复至 70.92%。

来源:arXiv · AI · arxiv.org