精简单层 Transformer 可执行字典查找的理论与实验研究

summary_zh: 论文证明在键值同位置时，具有对数多项式约束的精简单层 Transformer 可执行字典查找任务。 在 p 位有理数精度假设下，该单层结构无法处理键值不同位置的情况，但精简双层 Transformer 可以完成。