arXiv · ML· Giorgio Angelotti·· 9 小时前AI 评分20
HyPE：利用双曲偏差进行相对位置编码的注意力机制
HyPE: Attention with Hyperbolic Biases for Relative Positional Encoding
AI 导读
HyPE提出一种利用双曲函数编码相对位置的方法，无需存储O(L^2)偏差张量即可偏置注意力机制。 该方法通过间接将偏差融入softmax计算，支持梯度反向传播，并可在特定条件下与FlashAttention-2兼容。 分析证明HyPE可在有限范围内近似ALiBi的因果注意力偏差，模型泛化性及实验评估留待未来研究。
来源：arXiv · ML · arxiv.org