arXiv · ML· Sangyoon Bae, Jiook Cha·· 2 天前AI 评分30
预训练数据的结构、维度与分布形态：输入管线如何决定可迁移性
Structure, Dimensionality, and Distribution Shape - What Makes Pretraining Data Transferable, and Why the Input Pipeline Decides Which
AI 导读
预训练语料的可迁移性由模型输入变换而非数据模态决定。 研究指出，仅翻转输入标准化方式会使分布形态的影响改变 5.3 倍；TransferForge 能生成任意属性的人工数据。 在真实数据稀缺场景下，该原理允许通过制造特定形态的预训练数据来替代真实数据训练模型。
来源：arXiv · ML · arxiv.org