跳到正文
热点事件持续更新

Transformer持续学习模块级特性研究论文发布

1 篇报道1 个报道来源13 小时前更新

先了解这件事

AI 综述

2026年11月17日,Jinjun Peng等研究者发布arXiv论文,分析Transformer在声明式与程序式学习中的模块级稳定性。研究发现,模型的可塑性与稳定性并非镜像对应:QK/VO投影在程序式任务中更具可塑性,而MLP在声明式记忆任务中表现最佳。具体数据显示,更新QK模块时可保留过半的已存声明式记忆,但更新MLP和VO模块会导致显著更多甚至约80%的记忆损失。这项研究揭示了模块功能角色对持续学习性能的影响,为设计任务依赖的模块级更新策略提供了新视角。

AI 根据报道生成 · 11 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月19日
  1. arXiv · ML
    Transformer 中声明式与程序式学习的模块级稳定性分析

    研究发现 Transformer 中可塑性与稳定性并不镜像对应:QK/VO 投影在程序式任务中最具可塑性,而 MLP 在声明式记忆任务中最具可塑性。 更新 QK 时可保留过半已存声明式记忆,而更新 MLP 和 VO 则分别导致显著更多和约 80% 的损失。 研究揭示可塑性与稳定性依赖于模块功能角色的不同方面,为持续学习提供了任务依赖的模块级视角。

本事件热度走势

可比范围当前
7
可比范围峰值
911月19日 15:00
近 24 小时变化
–

趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。