GatedV注意力变体提升小模型困惑度
热点事件持续更新
GatedV注意力变体提升小模型困惑度
1 篇报道1 个报道来源11 小时前更新
先了解这件事
AI 综述
Li-Ming Yu 发表论文提出 GatedV，一种仅对 Transformer 的 Value 矩阵应用 SiLU 激活的注意力变体。该设计不引入额外可训练参数，旨在不改变注意力权重机制的前提下提升语言建模性能。在 2.33M 参数模型中，GatedV 将平均持有困惑度从 59.1 降至 57.9；在 26.16M 参数模型中，困惑度从 20.2 降至 19.7。
AI 根据报道生成 · 2 小时前更新
最新进展11月3日 13:00
GatedV：用于 Transformer 语言模型的自门控值报道时间线
沿着报道，了解事件的不同侧面。
11月3日
- arXiv · MLGatedV：用于 Transformer 语言模型的自门控值
GatedV 提出一种仅对 Transformer 的 Value 矩阵应用 SiLU 激活的注意力变体，不增加可训练参数。在 2.33M 参数模型中，其平均持有困惑度从 59.1 降至 57.9；在 26.16M 参数模型中，困惑度从 20.2 降至 19.7。该设计在不改变注意力权重机制的前提下提升语言建模性能。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。