跳到正文
arXiv · NLP· Yuyang Zhang, Yifu Zhang, Xuehai Zhou, Xiaoyin Chen·· 6 小时前AI 评分42

Transformer 推理的测度论分析:结构泛化与逼近极限

A Measure-Theoretic Analysis of Reasoning in Transformers: Structural Generalization and Approximation Limits

AI 导读

论文利用最优传输形式化大语言模型推理,通过 12 个结构坐标和 Wasserstein-1 距离量化分布外风险。 Kantorovich 对偶界定了风险上界;APE 导致风险为 $\Omega(1)$,RoPE 保持分数不变并限制误差。

来源:arXiv · NLP · arxiv.org