arXiv · ML· Jaehee Seo, Jisu Kim·· 8 小时前AI 评分20
Transformers 在几何复杂度增长下的非参数上下文学习：极小极大最优性与局部几何适应性
Nonparametric In-Context Learning under Growing Geometric Complexity: Minimax Optimality and Local Geometry-Adaptivity of Transformers
AI 导读
研究建立了未知异质几何下 Transformer 非参数上下文学习的极小极大下界，并构造了匹配上界的 Oracle 切线局部多项式估计器。 该估计器对应于带几何预条件器的两阶段 softmax Transformer，具备对数深度和多项式规模，实现可忽略的近似误差。 相关结果确定了预测器利用局部几何并达到极小极大速率的条件，论文已被 NeurIPS 2026 接收。
来源：arXiv · ML · arxiv.org