arXiv · ML· Haowei Chen, Yichen Wang, Congfu Xu·· 13 小时前AI 评分36
Kernel Ridge Attention: 结合非线性特征与选择性遗忘的循环序列混合器
Kernel Ridge Attention: Nonlinear Memory with Selective Forgetting
AI 导读
新型循环序列混合器 Kernel Ridge Attention (KRA) 结合学习非线性特征与协方差引导的记忆更新。 通过递归岭回归存储关联,利用 Ornstein-Uhlenbeck 过渡控制保留率,使推理状态大小独立于上下文长度。 在语言建模实验中,KRA 预测质量优于注意力及循环基线模型,并实现高效的分布式训练吞吐量。
来源:arXiv · ML · arxiv.org