arXiv · ML· Zehao Wang·· 14 天前AI 评分33
ConvPE:卷积位置嵌入提升 Transformer 性能与效率
ConvPE: Convolutional Position Embedding Improves Transformers
AI 导读
ConvPE通过轻量级因果卷积向注意力分数注入窗口化内容依赖偏置,提升了Transformer在语言建模、长上下文扩展及视觉领域的性能与效率。 该方法是即插即用模块,兼容RoPE、注意力掩码及KV拼接,支持高维卷积生成位置嵌入。复现结果显示,ConvPE性能优于五个一维基线和八个二维基线,代码已公开。
来源:arXiv · ML · arxiv.org