arXiv · ML· Damien Teney, Liangze Jiang, Zachary Shinnick, Hemanth Saratchandran, Simon Lucey·· 5 小时前AI 评分28
语言模型受益于领域特定归纳偏置
Language Models Can Benefit from Domain-Specific Inductive Biases
AI 导读
研究通过引入基于学习样条的标准激活函数变体，发现针对特定数据集调优的 Transformer 架构在所有7个测试数据集中均提升了训练效率或泛化能力。 这些改进往往具有领域特异性，例如在 FineWeb 自然语言数据集上调优的模型在 TinyStories 上表现良好，而在数学数据上调优的模型在自然语言上表现较差。
来源：arXiv · ML · arxiv.org