arXiv · ML· Anamaria-Roberta Hartl, Levente Z\'olyomi, Michael List, G\"unter Klambauer, Sebastian B\"ock, Sepp Hochreiter·· 9 小时前AI 评分28
KronLSTM：基于 Kronecker Delta Rule 的长上下文线性注意力架构
Kronecker Delta Rule for Long Context Linear Attention
AI 导读
KronLSTM 是一种基于 Kronecker Delta Rule 的线性注意力架构，扩展了 xLSTM 家族。它通过最小侵入式记忆修正机制，减少了对已存储信息的干扰，使其特别适用于长上下文语言建模。实验表明，KronLSTM 在长上下文基准测试中表现优于现有线性注意力架构，包括 (Gated) DeltaNet 系列模型。其代码和模型已开源。
来源：arXiv · ML · arxiv.org