arXiv · NLP· Marius Henry, Michael Rizvi-Martel, Michael Hahn·· 4 小时前AI 评分24
多层 Transformer 定量泛化界分析：长样本长度可优于数量
Quantitative Generalization Bounds for Multi-Layer Transformers: A Few Long Strings can Beat Many Short Ones
AI 导读
论文给出了固定精度多层 Transformer 模型的定量泛化界，首次将统计泛化与长度泛化这两个维度的要求结合起来统一分析，并展示了样本数量与训练长度之间的权衡机制。 理论证明在考虑模型参数规模、量化空间和字母表大小的约束下，增加训练长度比单纯增加样本数量在效率上呈指数级优势，实验验证了这一结论。 ```
来源：arXiv · NLP · arxiv.org