arXiv · NLP· Nam H. Le·· 8 小时前AI 评分26
模型崩塌即罗杰斯悖论:生成模型的知识代际衰减与修复机制分析
Who Pays for the Knowledge Models Copy? Model Collapse as Rogers' Paradox
AI 导读
生成模型训练于早期模型输出会导致知识逐代丢失,稀薄知识最先退化。将模型崩塌解读为罗杰斯悖论指出,依赖复制的群体除非有人持续独立学习,否则不会优于从不复制的群体。 该理论预测,当世界变化时,复制自身过去的模型谱系需要更多新数据才能跟上,而基于固定预训练权重重启的谱系则能避免崩溃。若训练数据供给内生化,模型可靠性与人类自我发现成本相等,增加模型生成文本占比将抵消其收益。
来源:arXiv · NLP · arxiv.org