动态短卷积改进Transformer获1.6倍计算优势

论文提出动态短卷积作为 Transformer 的新原语，在 150M 至 2B 参数语言模型实验中持续优于标准 Transformer 及静态短卷积变体。 缩放定律显示，将动态卷积应用于 key/query/value 向量可获得 1.33 倍计算优势，在所有线性层后添加则达 1.60 倍，且改进扩展至 Mamba-2 与混合专家架构。