arXiv · ML· Joshua S. Schiffman·· 10 天前AI 评分44
研究揭示 Transformer 模型收敛于不变算法核心
Transformers converge to invariant algorithmic cores
AI 导读
研究提出 ACE 方法,发现 6 个不同规模的 Transformer 模型中,主谓一致由单一可操纵轴控制,翻转该轴可反转语法数。 这些模型在间接宾语识别中通过紧凑核心进行计算,该核心跨架构对齐,且验证了从记忆到泛化的逆缩放定律。
来源:arXiv · ML · arxiv.org