HyPE论文更新v2修正推导与近似界

2026年10月18日，研究人员Giorgio Angelotti在arXiv上更新了HyPE论文的v2版本。v2主要修正了推导中的符号、因果ALiBi的符号及参数映射，并添加了显式的近似误差界，同时澄清了FlashAttention的实现要求。 该论文提出的HyPE方法利用双曲偏差进行相对位置编码，旨在无需存储O(L^2)偏差张量的情况下偏置注意力机制。作者证明HyPE可在有限范围内近似ALiBi的因果注意力偏差，但目前的实验评估被列为未来研究方向，尚未在v2中提供具体的模型泛化性结果。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。