arXiv · ML· Mo Zhou, Haoyang Ma, Rong Ge·· 16 小时前AI 评分39
长尾数据记忆如何通过组合提升泛化能力
Memorizing Long-tail Data Can Help Generalization Through Composition
AI 导读
深度学习研究表明,记忆长尾数据不会损害泛化能力,反而能通过与简单组合能力的协同提升模型预测准确性。 理论证明在线性设置中,这种机制能帮助模型正确预测包含长尾特征组合的罕见测试样本,即便该组合在训练数据中从未出现。 神经网络实验证实该洞察适用于非线性场景,且组合能力受模型架构影响。
来源:arXiv · ML · arxiv.org