arXiv · AI· Aritra Das, Dhruman Gupta, Debayan Gupta·· 13 小时前AI 评分27
线性化2-单纯形注意力
Linearized 2-Simplicial Attention
AI 导读
一种新的线性化2-单纯形注意力机制将计算复杂度从立方级降至序列长度的二次方,并在固定大小的状态中精确求和所有历史键。该机制通过正向随机特征近似和自定义Triton内核实现,并与Kimi Delta Attention结合构建了一个完全不含softmax注意力的模型。在15B参数规模下使用FineWeb-Edu训练,该模型将验证损失从2.35降至2.32,LAMBADA困惑度从40降至38。
来源:arXiv · AI · arxiv.org