arXiv · ML· Awni Altabaa, Tobias Schnabel, Kiran Tomlinson·· 5 小时前AI 评分31
Transformer 能力理论预测与实验对照研究
Putting Transformer Theories to the Test
AI 导读
研究对比了 Star-free、AC^0、TC^0、C-RASP、MPC、BAPO 和 Sensitivity 共 7 种 Transformer 理论预测。 实验涵盖样本复杂度、长度泛化和预训练模型性能，结果证实没有单一理论能解释 Transformer 的成功与失败模式。 研究指出，完整的理论必须包含软注意力、动态检索、位置有界计算及归纳偏差。
来源：arXiv · ML · arxiv.org