arXiv · NLP· Skye Gunasekaran, T\'ea Wright, Rui-Jie Zhu, Jason Eshraghian·· 4 小时前AI 评分27
SATFormer: 探索 Transformer 中早期值残差的使用时机
SATFormer: Learning When to Use Early Value Residuals in Transformers
AI 导读
SATFormer 通过上下文依赖门控控制第一层值投影 V_1 的访问，将早期表示复用转化为检索问题。在 130M 至 1.3B 参数模型上，其验证损失和零样本准确率均优于静态值残差及 Transformer 基线。 在检索密集型基准上，SATFormer 平均提升约 1.5 分，同时维持接近基线的吞吐量与内存占用。机制分析显示其学习稀疏且深度、头部敏感的选择性复用模式。
来源：arXiv · NLP · arxiv.org