arXiv · AI· Omar Naim, Jerome Bolte, Nicholas Asher·· 10 天前AI 评分31
为何 Transformer 难以实现分布无关的上下文学习
Why Transformers Struggle with Distribution-Independent In-Context Learning
AI 导读
研究指出,在噪声多项式回归任务中,Transformer 模型在分布内表现接近完美,但在输入或目标函数分布发生偏移时,性能急剧下降。这种退化现象存在于不同多项式次数及高维非线性回归中,并通过受控实验和架构消融得到证实。
来源:arXiv · AI · arxiv.org