arXiv · ML· Zhaiming Shen, Alexander Cloninger, Rongjie Lai, Wenjing Liao·2026-10-20 12:00· 6 小时前AI 评分27

论文证明 Transformer 可作为自适应核学习器实现上下文学习

Transformers as Adaptive Kernel Learners across Tasks for In-Context Learning

AI 导读

该论文通过数值模拟证明，Transformer 在上下文学习中可充当自适应各向异性核学习器。针对低秩线性与多指标非线性回归，其学习得到的注意力分数与最优核函数高度相似。研究利用宽浅层 Transformer 架构给出了显式实现，阐明了注意力机制如何适应不同函数类。

来源：arXiv · ML · arxiv.org