Pretraining Transformers with Quantized Softmax in Attention

该研究探讨在预训练中使用 K-interval attention 近似 softmax 时，对模型前向计算及训练梯度的影响。 实验基于 124M 参数模型与 2.5B 训练 token，比较了网格校准、舍入方式及直通替换项的位置。 在 K=4 时采用固定窗口校准及归一化后替换项，验证集损失差为 +0.019 nats；K=16 时采用归一化前替换项，损失差降至 +0.004 nats。