arXiv · ML· Joseph Turnbull, Jamie Simon·· 9 天前AI 评分20
无需特征学习即可实现上下文内学习:基于旋转不变核机器的研究
You Don't Need Feature Learning to Do In-Context Learning
AI 导读
研究表明上下文内学习(ICL)中的泛化实际上是欠拟合,且特征学习并非 ICL 的必要条件。 该研究通过分解旋转不变核机器的特征基,揭示模型先实现泛化,随后退化为记忆化解决方案的过程。 实证分析显示,Transformer 模型通过训练集的高阶统计量进行记忆化学习,证明该核方法理论同样适用于具备特征学习能力的模型。
来源:arXiv · ML · arxiv.org