跳到正文
arXiv · ML· Peter Racioppo·· 6 小时前AI 评分21

动力学核注意力:从过去记录中估计当前状态

Dynamical Kernel Attention: Estimating the Present from a Record of the Past

AI 导读

论文提出动力学核注意力(DKA),该机制基于随机动力学下的隐状态鲁棒估计,用于推导注意力权重。 与近因偏差不同,DKA 允许在相关证据薄弱时弃权,并在丢弃旧 token 时保证有界误差。 该方法保留了标准注意力的并行结构和计算成本,实证评估已推迟至后续版本。

来源:arXiv · ML · arxiv.org