arXiv · AI· Tian Qin, Yuhan Chen, Zhiwei Wang, Zhi-Qin John Xu·· 11 天前AI 评分31
基于 Transformer 信息传播规则的符号多步推理任务极限分析
Limit Analysis for Symbolic Multi-step Reasoning Tasks with Information Propagation Rules Based on Transformers
AI 导读
研究人员提出基于 Transformer 的信息传播规则,理论分析符号推理任务的极限步数。对于包含 L 个注意力层的模型,单次推理的极限步数介于 $2^{L-1}-1$ 与 $\frac{3^{L-1}-1}{2}$ 之间。
来源:arXiv · AI · arxiv.org