Transformer非参数上下文学习几何理论获NeurIPS 2026接收

Jaehee Seo 和 Jisu Kim 发布论文《Nonparametric In-Context Learning under Growing Geometric Complexity》，研究未知异质几何下 Transformer 非参数上下文学习的极小极大下界，并构造匹配上界的 Oracle 切线局部多项式估计器。 该估计器对应带几何预条件器的两阶段 softmax Transformer，具备对数深度和多项式规模，实现可忽略的近似误差，并明确了预测器利用局部几何并达到极小极大速率的条件。 论文已被 NeurIPS 2026 接收，分类涵盖机器学习、统计理论与数理统计领域，arXiv 编号为 2609.31458。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。