研究系统比较Transformer注意力记忆机制对阅读时间与语法能力影响

研究人员Lanni Bu等人针对Transformer语言模型中的注意力记忆约束机制，开展了系统性对比研究。该研究旨在探索将记忆约束安装到注意力机制中是否能提升模型对人类行为数据的拟合度，特别关注其在不同模型规模与训练语料下的表现。 研究核心在于评估多种基于注意力的记忆机制在预测人类阅读时间（心理测量预测力）和语法能力两方面的效能。团队对比了静态约束（训练过程中约束强度固定）与动态记忆课程（约束强度动态调整）两种训练策略，填补了以往仅孤立探索单一约束的空白。 研究发现，对中间token内容敏感的动态约束机制比单纯的距离约束更能精准对齐人类阅读时间。此外，在动态课程训练下，模型的心理测量拟合度与语法能力出现分离现象，这一结果表明Transformer并非通用的认知模型，其性能表现受特定训练策略和约束机制的显著影响。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。