跳到正文
arXiv · ML· Cole Gibson, Wenping Cui, Gautam Reddy·· 11 天前AI 评分26

Transformer 上下文学习的独立机制解析

Distinct mechanisms underlying in-context learning in transformers

AI 导读

研究揭示了 Transformer 在离散马尔可夫链任务中的上下文学习机制,发现其通过多层子电路实现四种算法阶段,分别对应记忆与泛化能力及 1 点与 2 点统计量的使用。

来源:arXiv · ML · arxiv.org