arXiv · ML· Li-Ming Yu·· 12 小时前AI 评分33
GatedV：用于 Transformer 语言模型的自门控值
GatedV: Self-Gated Values for Transformer Language Models
AI 导读
GatedV 提出一种仅对 Transformer 的 Value 矩阵应用 SiLU 激活的注意力变体，不增加可训练参数。在 2.33M 参数模型中，其平均持有困惑度从 59.1 降至 57.9；在 26.16M 参数模型中，困惑度从 20.2 降至 19.7。该设计在不改变注意力权重机制的前提下提升语言建模性能。
来源：arXiv · ML · arxiv.org