arXiv · NLP· Hao Yan, Haolin Yang, Yiqiao Zhong·· 10 天前AI 评分26
研究揭示Transformer中任务向量几何如何支撑双重任务推理模式
Task Vector Geometry Underlies Dual Modes of Task Inference in Transformers
AI 导读
研究显示,Transformer的双重任务推理模式由任务向量几何奠定。 模型在分布内通过任务向量的凸组合实现贝叶斯任务检索,在分布外则依赖几乎正交子空间的推断式任务学习。 研究为理解内部表征与泛化行为的关系提供了数学基础。
来源:arXiv · NLP · arxiv.org