跳到正文
arXiv · ML· Jinjun Peng, Wailiang Zhao, Baishakhi Ray, Zhou Yu, Jufeng Yang·· 13 小时前AI 评分21

Transformer 中声明式与程序式学习的模块级稳定性分析

Stability Does Not Mirror Plasticity: A Module-Level View of Declarative and Procedural Learning in Transformers

AI 导读

研究发现 Transformer 中可塑性与稳定性并不镜像对应:QK/VO 投影在程序式任务中最具可塑性,而 MLP 在声明式记忆任务中最具可塑性。 更新 QK 时可保留过半已存声明式记忆,而更新 MLP 和 VO 则分别导致显著更多和约 80% 的损失。 研究揭示可塑性与稳定性依赖于模块功能角色的不同方面,为持续学习提供了任务依赖的模块级视角。

来源:arXiv · ML · arxiv.org