arXiv · NLP· Yuyang Zhang, Yifu Zhang, Xuehai Zhou, Xiaoyin Chen·· 6 小时前AI 评分42
Transformer 推理的测度论分析:结构泛化与逼近极限
A Measure-Theoretic Analysis of Reasoning in Transformers: Structural Generalization and Approximation Limits
AI 导读
论文利用最优传输形式化大语言模型推理,通过 12 个结构坐标和 Wasserstein-1 距离量化分布外风险。 Kantorovich 对偶界定了风险上界;APE 导致风险为 $\Omega(1)$,RoPE 保持分数不变并限制误差。
来源:arXiv · NLP · arxiv.org