跳到正文
arXiv · ML· Joshua S. Schiffman·· 10 天前AI 评分44

研究揭示 Transformer 模型收敛于不变算法核心

Transformers converge to invariant algorithmic cores

AI 导读

研究提出 ACE 方法,发现 6 个不同规模的 Transformer 模型中,主谓一致由单一可操纵轴控制,翻转该轴可反转语法数。 这些模型在间接宾语识别中通过紧凑核心进行计算,该核心跨架构对齐,且验证了从记忆到泛化的逆缩放定律。

来源:arXiv · ML · arxiv.org