新研究量化预训练中Softmax影响
热点事件持续更新
新研究量化预训练中Softmax影响
1 篇报道1 个报道来源7 小时前更新
先了解这件事
AI 综述
arXiv平台发布论文《Pretraining Transformers with Quantized Softmax in Attention》，探讨在Transformer预训练中量化Softmax操作对模型的影响。 该研究使用K区间注意力近似softmax指数函数，通过改变逐行网格校准、插值与硬舍入方式，以及直通替代项相对于归一化的位置来进行实验。研究还推导了包括校准导数在内的相应反向传播规则。 实验基于124M参数模型和2.5B训练token。结果显示，当K=4时，采用固定窗口校准及归一化后替换项，验证集损失差为+0.019 nats；当K=16时，采用归一化前替换项，损失差降至+0.004 nats。
AI 根据报道生成 · 5 小时前更新
最新进展10月19日 12:00
Pretraining Transformers with Quantized Softmax in Attention报道时间线
沿着报道，了解事件的不同侧面。
10月19日
- arXiv · MLPretraining Transformers with Quantized Softmax in Attention
该研究探讨在预训练中使用 K-interval attention 近似 softmax 时，对模型前向计算及训练梯度的影响。 实验基于 124M 参数模型与 2.5B 训练 token，比较了网格校准、舍入方式及直通替换项的位置。 在 K=4 时采用固定窗口校准及归一化后替换项，验证集损失差为 +0.019 nats；K=16 时采用归一化前替换项，损失差降至 +0.004 nats。
本事件热度走势
- 可比范围当前
- 8
- 可比范围峰值
- 910月19日 15:00
- 近 24 小时变化
- –
02.557.510
15:0016:0017:0018:0019:00
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。