arXiv · ML· Junze Deng, Daouda Sow, Sen Lin, Yingbin Liang·· 5 小时前AI 评分22
Transformer 分布外上下文学习注意力动态理论
Theory on Attention Dynamics for Out-of-Distribution In-Context Learning
AI 导读
该研究通过α型和β型注意力权重的相互作用，刻画出Transformer在分布外输入下的误差机制，揭示其性能受所有训练与OOD特征成对交互影响，且在特定情况下表现不优于随机猜测。 实验表明，在分布外数据上微调不一定导致源域性能下降，其结果高度取决于特征变化的本质，微调可能持续增强正确特征的识别置信度。
来源：arXiv · ML · arxiv.org