arXiv · ML· Peter Racioppo·· 6 小时前AI 评分21
动力学核注意力:从过去记录中估计当前状态
Dynamical Kernel Attention: Estimating the Present from a Record of the Past
AI 导读
论文提出动力学核注意力(DKA),该机制基于随机动力学下的隐状态鲁棒估计,用于推导注意力权重。 与近因偏差不同,DKA 允许在相关证据薄弱时弃权,并在丢弃旧 token 时保证有界误差。 该方法保留了标准注意力的并行结构和计算成本,实证评估已推迟至后续版本。
来源:arXiv · ML · arxiv.org