arXiv · ML· Cole Gibson, Wenping Cui, Gautam Reddy·· 11 天前AI 评分26
Transformer 上下文学习的独立机制解析
Distinct mechanisms underlying in-context learning in transformers
AI 导读
研究揭示了 Transformer 在离散马尔可夫链任务中的上下文学习机制,发现其通过多层子电路实现四种算法阶段,分别对应记忆与泛化能力及 1 点与 2 点统计量的使用。
来源:arXiv · ML · arxiv.org