跳到正文
arXiv · ML· Nicolaj Rux, Sebastian Neumayer·· 17 小时前AI 评分22

Fast Gauss Sums via Flash Attention

Fast Gauss Sums via Flash Attention

AI 导读

Gauss 核求和计算可通过 FLASH attention 实现,无需编写自定义 GPU 代码。 通过两个小输入增强,将归一化 softmax 归约转换为未归一化 Gauss 求和,适用于最大均方差和 SVGD 等方法。 在 $D>8$ 且使用 fp16 时,该方法在速度和内存上优于编译后的 PyTorch,且在精度和内存方面优于 PyKeOps。

来源:arXiv · ML · arxiv.org