Transformer持续学习模块级特性研究论文发布
热点事件持续更新
Transformer持续学习模块级特性研究论文发布
1 篇报道1 个报道来源13 小时前更新
先了解这件事
AI 综述
2026年11月17日,Jinjun Peng等研究者发布arXiv论文,分析Transformer在声明式与程序式学习中的模块级稳定性。研究发现,模型的可塑性与稳定性并非镜像对应:QK/VO投影在程序式任务中更具可塑性,而MLP在声明式记忆任务中表现最佳。具体数据显示,更新QK模块时可保留过半的已存声明式记忆,但更新MLP和VO模块会导致显著更多甚至约80%的记忆损失。这项研究揭示了模块功能角色对持续学习性能的影响,为设计任务依赖的模块级更新策略提供了新视角。
AI 根据报道生成 · 11 小时前更新
最新进展11月19日 13:00
Transformer 中声明式与程序式学习的模块级稳定性分析报道时间线
沿着报道,了解事件的不同侧面。
11月19日
- arXiv · MLTransformer 中声明式与程序式学习的模块级稳定性分析
研究发现 Transformer 中可塑性与稳定性并不镜像对应:QK/VO 投影在程序式任务中最具可塑性,而 MLP 在声明式记忆任务中最具可塑性。 更新 QK 时可保留过半已存声明式记忆,而更新 MLP 和 VO 则分别导致显著更多和约 80% 的损失。 研究揭示可塑性与稳定性依赖于模块功能角色的不同方面,为持续学习提供了任务依赖的模块级视角。
本事件热度走势
- 可比范围当前
- 7
- 可比范围峰值
- 911月19日 15:00
- 近 24 小时变化
- –
02.557.510
16:0018:0020:0022:0011月20日
趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。